Thema: HDF5 für Tick-Daten

Hallo,

Verwendet jeder von Ihnen HDF5 anstelle einer relationalen Datenbank wie (MySQL, PostgreSQL)?

Wenn ja, wie sind Ihre Erfahrungen damit, mit Forex Data zu arbeiten?

Zitat von ;

Hallo, verwendet jemand von Ihnen HDF5 anstelle einer relationalen Datenbank wie (MySQL, PostgreSQL) Wenn ja, wie sind Ihre Erfahrungen damit, wenn Sie mit Forex Data arbeiten?

Ich habe es nach Zeckenspeicherung untersucht und fand es (zumindest für mich) nicht optimal. Das Hauptproblem ist, dass es für massive Daten konzipiert ist, die sich nicht ändern. Das bedeutet, dass Sie die Größe des Arrays angeben müssen (z. B. 4 Mil-Ticks). Das Hinzufügen neuer Hilfsstriche erfordert eine Größenänderung des Arrays (was möglicherweise schnell ist). Es ist möglich, aber ich arbeite nicht gern so. Übrigens, ich habe es nur ein paar Stunden untersucht, daher kann ich mich irren. Ich habe alle Tick-Daten von 4 Brokern heruntergeladen: FXCM, dbFX, Dukascopy und GAIN Capital. Ich habe ein benutzerdefiniertes komprimiertes Tick-Speicherformat zum Speichern erstellt. Ich habe 10 GB an Tick-Daten, die 200 GB benötigen würden, wenn sie als unkomprimierte CSV-Dateien gespeichert würden. Meine binäre Struktur und Kompression erreichen durchschnittlich 2 BytesTick. Ich speichere Ticks mit der erforderlichen Mindestanzahl von Bytes (4 Bytes für Zeitstempel, 3 Bytes für Gebot, 2 Bytes für den Spread, Ask als Gebot Spread). Ich komprimiere mit LZMA (einer der Kompressoren von 7-Zip). Ich speichere Ticks von jedem Tag in einer separaten Datei, wie z. B. FXCMEUR_USD2009_01_28.tick, ... Ich füge auch in der Kopfzeile jeder Datei alle Informationen ein, die ich habe - Broker-Name, verwendete API, Paarname, Ziffernanzahl Datum des Abrufs, damit ich, wenn die Dateien irgendwie durcheinander geraten, kein Problem damit haben, sie zu sortieren. Ich habe jetzt 100.000 Dateien, aber ich möchte sie zusammenfassen, indem ich sie in monatlichen Archiven speichere. Ich habe zuerst versucht, SQLite zu verwenden, aber es skaliert nicht, auch nicht für M1-Kerzen. PostgreSQL wird mehr verarbeiten, kann aber mit der Anzahl der Ticks, die ich habe, sicherlich nicht umgehen. Bei der Arbeit (ich bin ein Computerprogrammierer) kann HBase zur massiven Speicherung von Daten verwendet werden. Möglicherweise möchten Sie dies untersuchen, aber für die optimale Verwendung ist ein Cluster erforderlich (sie verfügen derzeit über 10 Computer und speichern etwa 2 TB an Daten, 1 Milliarde Datensätze). BEARBEITEN: Screenshot meiner laufenden Ticker - http://dl.dropbox.com/u/190212/public/tick.png

Danke Adal, sieht recht interessant aus. Ich habe mich vorerst für HDF5 entschieden.

Hat jemand einen neuen Input für Ihre Tick-Speichererfahrung? Ich untersuche das auch. Vielen Dank!