Moin Immer wieder habe ich unterschiedliche, aber immer große CSV Dateien, die ich gerne erstmal graphisch auswerten würde. Excel packt es meistens nicht mehr, bei 1 - 2 Millionen Einträgen. Schöne Grafiken mache ich mit matplotlib, aber das ist zum ersten betrachten zu auswendig. Gibt es ein kleines Programm, wo ich einfach die CSV einlesen kann und mich durch die Graphen klicken kann? Gruß Kolja
Kolja L. schrieb: > Excel packt es meistens nicht mehr, bei 1 - 2 Millionen Einträgen. Excel 2007, Excel 2010, Excel 2013 und Excel 2016: Max. Anzahl Zeilen: 1'048'576 Max. Anzahl Spalten: 16'384 Max. Spaltenbreite: 255 Zeichen Max. Anzahl Zeichen pro Zelle: 32'767 Das wird wirklich eng. Notfalls splitten od. schon vorher bearbeiten?
Kolja L. schrieb: > Gibt es ein kleines Programm, wo ich einfach die CSV einlesen kann und > mich durch die Graphen klicken kann? > > Gruß Kolja Thread "Visualisierung von geloggten Daten" Beitrag "Visualisierung von geloggten Daten" CSV-Viewer von Ingo W. Letzte Version: csv_viewer_20150211-1900.zip vom 11.02.2015 19:01 (Beitrag "Re: Visualisierung von geloggten Daten")
Man sollte trotzdem auf die Dateigröße achten. Manche Datei über 2GB könnte auch das System schon mächtig bremsen (wegen Auslagerung) oder im Fehlerfall zu mehr Datenverlust führen als ein paar kleinere.
Zur grafischen Darstellung von großen CSV-Log-Dateien einer SPS habe ich damals DatPlot benutzt: http://www.datplot.com/
Klaus schrieb: > von großen CSV-Log-Dateien Schreibt doch bitte mal wie groß Eure Dateien so waren. Irgendwo sind da immer physikalische oder zeitliche Grenzen.
Naja der schlaue Plotter liesst ja nicht die ganze datei auf einmal sondern einmal zeile für zeile um die MinMaximalwerte zu kennen, dann nocheinmal um in die so erstellten Achsen den graphen zu malen Im Speicher sind dann von der CSV immer nur drei Zeilen.. zwei virtuelle (min und max) und die die gelesen wird grade Und ja das rödelt wie doof auf der Platte rum, läuft aber mit 2GB Daten auf win95 mit 128MB RAM ;)
Moin Hier ist ja einiges passiert. Bin aber gestern Abend noch auf plotly gestoßen: https://plot.ly/python/getting-started/ Das ist nicht ganz so "klicki" wie ich wollte, aber doch simpel genug, um mal schnell in eine csv reinzuschauen. Klaus schrieb: > Zur grafischen Darstellung von großen CSV-Log-Dateien einer SPS habe ich > damals DatPlot benutzt: http://www.datplot.com/ Das werde ich mir aber mal in die Bookmarks legen! Danke und Gruß Kolja
Kolja L. schrieb: > Klaus schrieb: >> Zur grafischen Darstellung von großen CSV-Log-Dateien einer SPS habe ich >> damals DatPlot benutzt: http://www.datplot.com/ > > Das werde ich mir aber mal in die Bookmarks legen! Habe es dann doch mal kurz angetestet, mit: CSV 700MB, 2 Millionen Zeilen, 50 Spalten auf einem i5 3330 @ 2.6 GHz, SSD und 16GB RAM Einlesen dauert ca 1 Minute, aber schon mit dem dritten Plot wird das Programm unbenutzbar langsam. Schade, sonst genau das was ich haben wollte. Ach ja und die Auswahl der Date() Formate ist etwas gering, bzw ist es nicht möglich ein eigenes Format anzulegen. Mein Testschema: 2001-05-01 12:13:04 kann nicht interpretiert werden.
gnuplot ist denke ich die Lösung für den Anwendungsfall, den du nennst. Wenn du mehr damit machen willst, würde ich es mit numpy in das numpy-eigene Binärformat konvertieren, oder es direkt irgendwie binär erzeugen. Große CSV-Dateien parsen ist ziemlich lahm.
Würde auch gnuplot sagen allerdings ist das schon bei 400.000 Zeilen auf nen I5 mit 32GB RAM Grotten langsam, wenn du nur Bilder generieren möchtest ist das OK aber sobald du in die Grafik zoomen willst ... kannst es vergessen.
Kolja L. schrieb: > Schade, sonst genau das was ich haben wollte. Hast Du auch mal den CSV-Viewer angeschaut? Beitrag "Re: Graphen aus großer CSV Datei" ?
Kolja L. schrieb: > Mein Testschema: 2001-05-01 12:13:04 kann nicht interpretiert werden. YYYY-MM-DD? Dann stell doch mal das Datumsformat auf japanisch. Die machen das ganz normal so ;) Ansonsten noch Python + Matplotlib.
Thomas S. schrieb: > Hast Du auch mal den CSV-Viewer angeschaut? > Beitrag "Re: Graphen aus großer CSV Datei" ? Jetzt ja, aber er schafft es nichtmal die Datei zu öffnen. Stürzt nach ner Minute ab :-(
Danke für die Info! Ich hatte in Erinnerung, dass er auch große Dateien anzeigen können soll. Schade.
Thomas S. schrieb: > Schade. Man sollte grundsätzlich eine Datei auf ein verträgliches Maß begrenzen! Das spart bei der späteren Verarbeitung viel Zeit und Ärger. Eine explodierte Log-Datei könnte möglicherweise die ganze Festplatte füllen...
Kolja L. schrieb: > Kolja L. schrieb: >> Klaus schrieb: >>> Zur grafischen Darstellung von großen CSV-Log-Dateien einer SPS habe ich >>> damals DatPlot benutzt: http://www.datplot.com/ >> >> Das werde ich mir aber mal in die Bookmarks legen! > > Habe es dann doch mal kurz angetestet, mit: > > CSV 700MB, 2 Millionen Zeilen, 50 Spalten > auf einem i5 3330 @ 2.6 GHz, SSD und 16GB RAM > > Einlesen dauert ca 1 Minute, aber schon mit dem dritten Plot wird das > Programm unbenutzbar langsam. > > Schade, sonst genau das was ich haben wollte. > > Ach ja und die Auswahl der Date() Formate ist etwas gering, bzw ist es > nicht möglich ein eigenes Format anzulegen. > > Mein Testschema: 2001-05-01 12:13:04 kann nicht interpretiert werden. Und - hast Du in Folge des Tests diese Erkenntnisse dem Datplot-Programmierer geschrieben und ihm Deine (bereinigten) Testdaten zur Verfügung gestellt damit die sehen wo es feigelt? Wenn schon freie SW nutzen dann auch Feedback geben, kostet nur eine Email, die sich sogar als plaintext auf der Website findet und ein paar Minuten Zeit... MiWi
Thomas S. schrieb: > Danke für die Info! > Ich hatte in Erinnerung, dass er auch große Dateien anzeigen können > soll. Schade. Kann er auch. Nur muss dazu entweder das Datum/Zeitformat der Datei stimmen, oder der Konverter entsprechend eingestellt werden. Dazu ist sicherlich die Durchsicht der Anleitung erforderlich/hilfreich.
Gerade gesehen, die letzte Version der Anleitung steht unter Beitrag "Re: Visualisierung von geloggten Daten" Thomas S. schrieb: > Evtl. schliesst sich Kolja mal mit Dir kurz? Kann er, wenn er möchte gern tun.
Thread beobachten
Seitenaufteilung abschaltenBitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.