Moin Immer wieder habe ich unterschiedliche, aber immer große CSV Dateien, die ich gerne erstmal graphisch auswerten würde. Excel packt es meistens nicht mehr, bei 1 - 2 Millionen Einträgen. Schöne Grafiken mache ich mit matplotlib, aber das ist zum ersten betrachten zu auswendig. Gibt es ein kleines Programm, wo ich einfach die CSV einlesen kann und mich durch die Graphen klicken kann? Gruß Kolja
Gast
#6035283
Kolja L. schrieb: > Excel packt es meistens nicht mehr, bei 1 - 2 Millionen Einträgen. Excel 2007, Excel 2010, Excel 2013 und Excel 2016: Max. Anzahl Zeilen: 1'048'576 Max. Anzahl Spalten: 16'384 Max. Spaltenbreite: 255 Zeichen Max. Anzahl Zeichen pro Zelle: 32'767 Das wird wirklich eng. Notfalls splitten od. schon vorher bearbeiten?
Gast
#6035284
Gnuplot
Kolja L. schrieb: > Gibt es ein kleines Programm, wo ich einfach die CSV einlesen kann und > mich durch die Graphen klicken kann? > > Gruß Kolja Thread "Visualisierung von geloggten Daten" Beitrag "Visualisierung von geloggten Daten" CSV-Viewer von Ingo W. Letzte Version: csv_viewer_20150211-1900.zip vom 11.02.2015 19:01 (Beitrag "Re: Visualisierung von geloggten Daten")
Octave?
Wenn Matlab im Haus ist, dieses, ansonsten Octave oder GnuPlot.
Gast
#6035333
Man sollte trotzdem auf die Dateigröße achten. Manche Datei über 2GB könnte auch das System schon mächtig bremsen (wegen Auslagerung) oder im Fehlerfall zu mehr Datenverlust führen als ein paar kleinere.
Gast
#6035362
Zur grafischen Darstellung von großen CSV-Log-Dateien einer SPS habe ich damals DatPlot benutzt: http://www.datplot.com/
Gast
#6035389
Klaus schrieb: > von großen CSV-Log-Dateien Schreibt doch bitte mal wie groß Eure Dateien so waren. Irgendwo sind da immer physikalische oder zeitliche Grenzen.
Gast
#6035638
Naja der schlaue Plotter liesst ja nicht die ganze datei auf einmal sondern einmal zeile für zeile um die MinMaximalwerte zu kennen, dann nocheinmal um in die so erstellten Achsen den graphen zu malen Im Speicher sind dann von der CSV immer nur drei Zeilen.. zwei virtuelle (min und max) und die die gelesen wird grade Und ja das rödelt wie doof auf der Platte rum, läuft aber mit 2GB Daten auf win95 mit 128MB RAM ;)
Moin Hier ist ja einiges passiert. Bin aber gestern Abend noch auf plotly gestoßen: https://plot.ly/python/getting-started/ Das ist nicht ganz so "klicki" wie ich wollte, aber doch simpel genug, um mal schnell in eine csv reinzuschauen. Klaus schrieb: > Zur grafischen Darstellung von großen CSV-Log-Dateien einer SPS habe ich > damals DatPlot benutzt: http://www.datplot.com/ Das werde ich mir aber mal in die Bookmarks legen! Danke und Gruß Kolja
Gast
#6035754
R, das ist allerdings weder "klein" noch geht "eben schnell".
Kolja L. schrieb: > Klaus schrieb: >> Zur grafischen Darstellung von großen CSV-Log-Dateien einer SPS habe ich >> damals DatPlot benutzt: http://www.datplot.com/ > > Das werde ich mir aber mal in die Bookmarks legen! Habe es dann doch mal kurz angetestet, mit: CSV 700MB, 2 Millionen Zeilen, 50 Spalten auf einem i5 3330 @ 2.6 GHz, SSD und 16GB RAM Einlesen dauert ca 1 Minute, aber schon mit dem dritten Plot wird das Programm unbenutzbar langsam. Schade, sonst genau das was ich haben wollte. Ach ja und die Auswahl der Date() Formate ist etwas gering, bzw ist es nicht möglich ein eigenes Format anzulegen. Mein Testschema: 2001-05-01 12:13:04 kann nicht interpretiert werden.
gnuplot ist denke ich die Lösung für den Anwendungsfall, den du nennst. Wenn du mehr damit machen willst, würde ich es mit numpy in das numpy-eigene Binärformat konvertieren, oder es direkt irgendwie binär erzeugen. Große CSV-Dateien parsen ist ziemlich lahm.
Gast
#6036111
Würde auch gnuplot sagen allerdings ist das schon bei 400.000 Zeilen auf nen I5 mit 32GB RAM Grotten langsam, wenn du nur Bilder generieren möchtest ist das OK aber sobald du in die Grafik zoomen willst ... kannst es vergessen.
Kolja L. schrieb: > Schade, sonst genau das was ich haben wollte. Hast Du auch mal den CSV-Viewer angeschaut? Beitrag "Re: Graphen aus großer CSV Datei" ?
Kolja L. schrieb: > Mein Testschema: 2001-05-01 12:13:04 kann nicht interpretiert werden. YYYY-MM-DD? Dann stell doch mal das Datumsformat auf japanisch. Die machen das ganz normal so ;) Ansonsten noch Python + Matplotlib.
Thomas S. schrieb: > Hast Du auch mal den CSV-Viewer angeschaut? > Beitrag "Re: Graphen aus großer CSV Datei" ? Jetzt ja, aber er schafft es nichtmal die Datei zu öffnen. Stürzt nach ner Minute ab :-(
Danke für die Info! Ich hatte in Erinnerung, dass er auch große Dateien anzeigen können soll. Schade.
Gast
#6036627
Thomas S. schrieb: > Schade. Man sollte grundsätzlich eine Datei auf ein verträgliches Maß begrenzen! Das spart bei der späteren Verarbeitung viel Zeit und Ärger. Eine explodierte Log-Datei könnte möglicherweise die ganze Festplatte füllen...
Gast
#6036644
Kolja L. schrieb: > Kolja L. schrieb: >> Klaus schrieb: >>> Zur grafischen Darstellung von großen CSV-Log-Dateien einer SPS habe ich >>> damals DatPlot benutzt: http://www.datplot.com/ >> >> Das werde ich mir aber mal in die Bookmarks legen! > > Habe es dann doch mal kurz angetestet, mit: > > CSV 700MB, 2 Millionen Zeilen, 50 Spalten > auf einem i5 3330 @ 2.6 GHz, SSD und 16GB RAM > > Einlesen dauert ca 1 Minute, aber schon mit dem dritten Plot wird das > Programm unbenutzbar langsam. > > Schade, sonst genau das was ich haben wollte. > > Ach ja und die Auswahl der Date() Formate ist etwas gering, bzw ist es > nicht möglich ein eigenes Format anzulegen. > > Mein Testschema: 2001-05-01 12:13:04 kann nicht interpretiert werden. Und - hast Du in Folge des Tests diese Erkenntnisse dem Datplot-Programmierer geschrieben und ihm Deine (bereinigten) Testdaten zur Verfügung gestellt damit die sehen wo es feigelt? Wenn schon freie SW nutzen dann auch Feedback geben, kostet nur eine Email, die sich sogar als plaintext auf der Website findet und ein paar Minuten Zeit... MiWi
Thomas S. schrieb: > Danke für die Info! > Ich hatte in Erinnerung, dass er auch große Dateien anzeigen können > soll. Schade. Kann er auch. Nur muss dazu entweder das Datum/Zeitformat der Datei stimmen, oder der Konverter entsprechend eingestellt werden. Dazu ist sicherlich die Durchsicht der Anleitung erforderlich/hilfreich.
Evtl. schliesst sich Kolja mal mit Dir kurz?
Gerade gesehen, die letzte Version der Anleitung steht unter Beitrag "Re: Visualisierung von geloggten Daten" Thomas S. schrieb: > Evtl. schliesst sich Kolja mal mit Dir kurz? Kann er, wenn er möchte gern tun.
Antwort schreiben
Bitte melde dich an, um einen Beitrag zu schreiben.