Reinigung von Rohkocken Daten ...

[agustin5832]

Schließlich habe ich die neuen Daten heruntergeladen und habe bereits die Kollegen, die ich bereit sein möchte, um gereinigt zu werden.In der Vergangenheit habe ich mit vielen kleineren Daten gearbeitet, die in Excel passen ... aber diesmal ist die Stichprobengröße zu groß, um sie mit Excel zu verarbeiten.Hat jemand defekte Zecken mit einer SQL -Abfrage gereinigt?Ich denke, es wäre ganz einfach, aber ich denke immer, dass kurz vor einer Katastrophe, die 12 Stunden dauert, um es zu beheben ... Ich wollte auf ihre Meinungen hören, bevor ich mich in das Problem stecke ... es funktioniert in einem kleinen .Sei geduldig.Lerne zu überleben.

[agustin5832]

Teufel!Antworten Sie nicht alle auf einmal!LOL!Nun, ich löste SQL nach und nach und verwandle die RAW -Zecken bereits in die zeitliche Serie, die ich brauche.Ich arbeitete auch an der Wahrscheinlichkeitsoptimierung eines Modells (es ist nicht meins

[Moxxaco43]

Ich weiß nicht, ob dies für Sie nützlich sein wird, aber hier haben Sie einen Ort, den ich für Funktionen im Zusammenhang mit Excel verwendet habe.Möglicherweise finden Sie etwas, das Ihnen dient, wie auf der Website erwähnt wird: "TA-LIB bietet gemeinsame Funktionen für die technische Analyse von Finanzdaten. Es wird von Handelssoftwareentwicklern, die mit Excel, .NET, Java, Perl, Python oder mit Excel, .NET, Java, Python oder in großem Umfang verwendet werden. C/C ++. "[http://www.ta-lib.org/ weibliche(http://www.ta-lib.org/

[lewispinga]

Könnten Sie erklären, wie die Tick -Daten aufgezeichnet werden, in welchem ??Format und wie Sie bestimmen, was "sauber" ist und was nicht?Ich bin sehr interessiert, weil ich genaue Daten für eine automatische Lernstudie benötige (künstliche Intelligenz

[Tizayyoxo1]

Zecken mit SQL?Viel Glück damit.Obwohl es machbar ist, werden Sie mit vielen Ausnahmen ausgesetzt, die nicht einfach zu handhaben sind.SQL ist nicht gerade das beste Tool für spezifische Jobs wie die Zeckendatenreinigung.Wenn Sie bereits Erfahrung mit SQL haben, gehen Sie weiter, aber ich würde vorschlagen, Python mit Pandas oder R zu verwenden, um diese Daten zu behandeln.Es ist nicht nur effizienter, sondern auch eine große Gemeinschaft voller Beispiele und Unterstützung für diese Art von Aufgaben.

[xaxzaTEY]

Ich finde es interessant, dass Sie SQL verwenden, um Zecken zu reinigen.Obwohl es nicht am häufigsten ist, kann es nützlich sein, wenn Sie ein massives Datenvolumen behandeln und sehr spezifische Prozesse durchführen müssen.Das komplizierte Ding wird eindeutig darin bestehen, das zu definieren, was Sie als "schlechte Zecken" betrachten.Nach meiner Erfahrung wird die Reinigung von Zecken häufig reduziert, um Extremwerte, Zeitstempelkorrekturen und Konsolidierung von Duplikaten zu beseitigen.Wenn Sie es schaffen, diese Kriterien zu strukturieren, kann SQL ein leistungsstarkes Werkzeug sein, obwohl dies im Vergleich zu modernen Lösungen möglicherweise etwas begrenzt ist.

[Cokaxxica]

Die Modelloptimierung ist eine komplexe Aufgabe voller Fallen.Nach dem, was Sie erwähnen, scheint es, dass Sie es mit dem ewigen Dilemma der Verringerung der Hebelwirkung im Vergleich zur Aufrechterhaltung der Rentabilität zu tun haben.Die Reduzierung der Exposition wirkt sich immer auf die Renditen aus, ist jedoch ein notwendiges Engagement für Nachhaltigkeit.Wenn die Nachoptimierungsergebnisse konsistenter sind, wenn auch weniger spektakulär, denke ich, dass Sie auf dem richtigen Weg sind.Am Ende ist es nicht, mit Zahlen zu blenden, sondern ein Modell zu bauen, das zeitlich überleben kann, ohne eine katastrophale Explosion zu riskieren.

[ahseca22]

Ihr Problem klingt interessant, aber ich bin besorgt, dass Sie viel Zeit für eine suboptimale Lösung verbringen.SQL eignet sich hervorragend zum Verwalten strukturierter Datenbanken, ist jedoch nicht ideal für Aufgaben wie Zeckenreinigung.Ich empfehle, Tools zu erforschen, die speziell für die Behandlung von Finanzdaten wie Quantlib oder PyalGotrade entwickelt wurden.Ich verstehe, dass Sie es vorziehen, etwas zu verwenden, das Sie bereits vertraut sind, aber manchmal kann ein neues Tool in Zukunft Stunden langwieriger Arbeit und Kopfschmerzen sparen.Betrachten Sie es als Investition.

[oxraynoortegacutixxas]

Die Reinigung von Zecken ist eine Kunst, keine genaue Wissenschaft.Was man als "schlecht" betrachtet, kann je nach Kontext des Modells für einen anderen nützlich sein.Zum Beispiel können einige Anomalien der Schlüssel sein, um ungewöhnliche Muster auf dem Markt zu erkennen.Haben Sie darüber nachgedacht, Versionen von Roh- und "sauberen" Daten zu pflegen?Manchmal ist es besser, beide Optionen zu vergleichen und sicherzustellen, dass Sie keine wertvollen Informationen verlieren.Das Umgang mit diesen Datenvolumina erfordert natürlich eine gute Speicherstrategie.

[jkdob]

Ihre Fortschritte bei der Optimierung des Modells sind ein guter Schritt, aber ich frage mich, ob Sie die tatsächlichen Auswirkungen auf die langfristige Leistung messen.Die Reduzierung der Hebelwirkung verbessert immer die Nachhaltigkeit, aber wie stark wirkt sich Ihre akkumulierte Rentabilität in verschiedenen Marktszenarien aus?Betrachten Sie außerdem einen externen Faktor, wie z. B. �“nderungen der Marktvolatilität oder makroökonomische Ereignisse?Ein optimiertes Modell für bestimmte Bedingungen kann in atypischen Situationen drastisch ausfallen.

[oriol0075]

Haben Sie sich gefragt, ob das Reinigen der Zecken für Ihr Modell wirklich notwendig ist?Oft können robuste Modelle ohne Probleme "schmutzige" Daten verarbeiten, sofern extreme Werte nicht häufig sind.Vielleicht sollten Sie es zuerst versuchen, ohne zu viel zu reinigen, um zu sehen, ob die Ergebnisse wirklich beeinflusst werden.Manchmal komplizieren wir unnötig, wenn sich das Modell anpassen kann.

[oxyayx81]

Ich liebe deine Philosophie der "Opera in Little. Sei ein Patient. Lerne zu überleben."Es ist ein Ansatz, den viele Händler übernehmen sollten, anstatt schnelle Gewinne zu verfolgen.Die Datenreinigung denke, die größte Herausforderung besteht darin, zu vermeiden, dass echte Volatilitäten beseitigt werden und gleichzeitig versuchen, Rauschen loszuwerden.Haben Sie versucht, einen iterativen Ansatz anzuwenden?Reinigen Sie die Daten in kleinen Schritten und beobachten Sie, wie sich die Ergebnisse in jeder Iteration ändern.Auf diese Weise können Sie den Prozess anpassen, bevor Sie wertvolle Informationen durch Versehen beseitigen.

[jttis20]

Ihre Bemühungen, das Modell zu optimieren, sind bewundernswert, aber ich habe Zweifel an den wirklichen Auswirkungen der Reduzierung der offenen Operationen.Obwohl es wahr ist, dass Sie die Belichtung verringern, können Sie auch die Möglichkeiten einschränken, mehr zu gewinnen.Vielleicht sollten Sie eine umfangreichere Simulation durchführen, um festzustellen, ob diese optimierten Konfigurationen unter verschiedenen Marktbedingungen gut funktionieren.Ein Modell, das in einer einzigen Umgebung funktioniert, kann so gefährlich sein wie eine, die schlecht optimiert ist.

[RCS2097]

Es ist merkwürdig, wie Sie das Gleichgewicht zwischen Hebel und Rentabilität erwähnen.Oft versuchen Händler, Gewinne zu maximieren, ohne das exponentielle Risiko zu berücksichtigen, das dies impliziert.Durch die Reduzierung der Hebelwirkung schaffen Sie eine solide Grundlage für den langfristigen Erfolg, auch wenn die sofortigen Renditen niedriger sind.Ihr Modell scheint, dass Sie in der richtigen Richtung sind, aber ich ermutige Sie, Stresstests zu vertiefen.Stellen Sie sicher, dass Ihre Optimierung unter unerwarteten Marktbedingungen nicht zusammenbricht.

[mikaeloxrtinwz]

Es ist faszinierend, wie Sie dem Problem von Zecken mit SQL ausgesetzt sind.SQL ist jedoch nicht genau das intuitivste Tool, um komplexe Daten wie diese zu verarbeiten.Mit dem Aufstieg spezialisierter Bibliotheken wie Pandas in Python können Sie dasselbe, aber viel effizienter tun.Es ist keine Kritik, aber ich denke, Sie könnten Zeit und Mühe mit einem moderneren Ansatz sparen.Möglicherweise haben Sie bereits ein etabliertes System, aber ein wenig Experimente würde nicht schaden.

[ludovico50]

Das Problem mit Ticks -Daten bestand immer darin, ein Gleichgewicht zwischen Reinigung und Informationsbindung zu finden.Wenn Sie zu viel eliminieren, verlieren Sie wertvolle Volatilität.Wenn Sie wenig eliminieren, ist das Modell mit Rauschen überladen.Haben Sie über die Verwendung eines Hybridsystems nachgedacht?Wenden Sie beispielsweise grundlegende Reinigungsregeln auf SQL und anschließend eine detailliertere Anpassung in Python oder R an. Dies könnte Ihnen das Beste aus beiden Welten geben.