Graphen aus großer CSV Datei

OP #6035074
Moin

Immer wieder habe ich unterschiedliche, aber immer große CSV Dateien,
die ich gerne erstmal graphisch auswerten würde.

Excel packt es meistens nicht mehr, bei 1 - 2 Millionen Einträgen.

Schöne Grafiken mache ich mit matplotlib, aber das ist zum ersten 
betrachten zu auswendig.

Gibt es ein kleines Programm, wo ich einfach die CSV einlesen kann und 
mich durch die Graphen klicken kann?

Gruß Kolja
Gast
Kolja L. schrieb:
> Excel packt es meistens nicht mehr, bei 1 - 2 Millionen Einträgen.

Excel 2007, Excel 2010, Excel 2013 und Excel 2016:
Max. Anzahl Zeilen: 1'048'576
Max. Anzahl Spalten: 16'384
Max. Spaltenbreite: 255 Zeichen
Max. Anzahl Zeichen pro Zelle: 32'767

Das wird wirklich eng. Notfalls splitten od. schon vorher bearbeiten?
Gast
Man sollte trotzdem auf die Dateigröße achten. Manche Datei über 2GB 
könnte auch das System schon mächtig bremsen (wegen Auslagerung) oder im 
Fehlerfall zu mehr Datenverlust führen als ein paar kleinere.
Gast
Naja der schlaue Plotter liesst ja nicht die ganze datei auf einmal
sondern einmal zeile für zeile um die MinMaximalwerte zu kennen,
dann nocheinmal um in die so erstellten Achsen den graphen zu malen

Im Speicher sind dann von der CSV immer nur drei Zeilen..
zwei virtuelle (min und max) und die die gelesen wird grade

Und ja das rödelt wie doof auf der Platte rum, läuft aber mit 2GB Daten 
auf win95 mit 128MB RAM ;)
OP
Moin

Hier ist ja einiges passiert.

Bin aber gestern Abend noch auf plotly gestoßen:
https://plot.ly/python/getting-started/

Das ist nicht ganz so "klicki" wie ich wollte, aber doch simpel genug,
um mal schnell in eine csv reinzuschauen.

Klaus schrieb:
> Zur grafischen Darstellung von großen CSV-Log-Dateien einer SPS habe ich
> damals DatPlot benutzt: http://www.datplot.com/

Das werde ich mir aber mal in die Bookmarks legen!

Danke und Gruß

Kolja
OP
Kolja L. schrieb:
> Klaus schrieb:
>> Zur grafischen Darstellung von großen CSV-Log-Dateien einer SPS habe ich
>> damals DatPlot benutzt: http://www.datplot.com/
>
> Das werde ich mir aber mal in die Bookmarks legen!

Habe es dann doch mal kurz angetestet, mit:

CSV 700MB, 2 Millionen Zeilen, 50 Spalten
auf einem i5 3330 @ 2.6 GHz, SSD und 16GB RAM

Einlesen dauert ca 1 Minute, aber schon mit dem dritten Plot wird das 
Programm unbenutzbar langsam.

Schade, sonst genau das was ich haben wollte.

Ach ja und die Auswahl der Date() Formate ist etwas gering, bzw ist es 
nicht möglich ein eigenes Format anzulegen.

Mein Testschema: 2001-05-01 12:13:04 kann nicht interpretiert werden.
gnuplot ist denke ich die Lösung für den Anwendungsfall, den du nennst.

Wenn du mehr damit machen willst, würde ich es mit numpy in das 
numpy-eigene Binärformat konvertieren, oder es direkt irgendwie binär 
erzeugen. Große CSV-Dateien parsen ist ziemlich lahm.
Gast
Würde auch gnuplot sagen allerdings ist das schon bei 400.000 Zeilen auf 
nen I5 mit 32GB RAM Grotten langsam, wenn du nur Bilder generieren 
möchtest ist das OK aber sobald du in die Grafik zoomen willst ... 
kannst es vergessen.
Gast
Thomas S. schrieb:
> Schade.

Man sollte grundsätzlich eine Datei auf ein verträgliches Maß begrenzen! 
Das spart bei der späteren Verarbeitung viel Zeit und Ärger. Eine 
explodierte Log-Datei könnte möglicherweise die ganze Festplatte 
füllen...
Gast
Kolja L. schrieb:
> Kolja L. schrieb:
>> Klaus schrieb:
>>> Zur grafischen Darstellung von großen CSV-Log-Dateien einer SPS habe ich
>>> damals DatPlot benutzt: http://www.datplot.com/
>>
>> Das werde ich mir aber mal in die Bookmarks legen!
>
> Habe es dann doch mal kurz angetestet, mit:
>
> CSV 700MB, 2 Millionen Zeilen, 50 Spalten
> auf einem i5 3330 @ 2.6 GHz, SSD und 16GB RAM
>
> Einlesen dauert ca 1 Minute, aber schon mit dem dritten Plot wird das
> Programm unbenutzbar langsam.
>
> Schade, sonst genau das was ich haben wollte.
>
> Ach ja und die Auswahl der Date() Formate ist etwas gering, bzw ist es
> nicht möglich ein eigenes Format anzulegen.
>
> Mein Testschema: 2001-05-01 12:13:04 kann nicht interpretiert werden.

Und - hast Du in Folge des Tests diese Erkenntnisse dem 
Datplot-Programmierer geschrieben und ihm Deine (bereinigten) Testdaten 
zur Verfügung gestellt damit die sehen wo es feigelt?

Wenn schon freie SW nutzen dann auch Feedback geben, kostet nur eine 
Email, die sich sogar als plaintext auf der Website findet und ein paar 
Minuten Zeit...

MiWi

Antwort schreiben

Eine eigene Frage? Dieser Thread ist über 7 Jahre alt. Stell sie in einem eigenen Thread – dort lesen mehr Leute mit, und sie wird öfter und schneller beantwortet.

Neuen Thread starten

Eine Lösung, Ergänzung oder Rückmeldung zu diesem Thread? Dann antworte hier.

Formatierung
  • [c]C-Code[/c]
  • [code]Code in anderen Sprachen, ASCII-Zeichnungen[/code]
  • [math]Formel in LaTeX-Syntax[/math]
  • [[Titel]] – Link zu einem Artikel
  • Verweis auf einen anderen Beitrag: Rechtsklick auf dessen Beitrags-ID (#8078628), „Adresse kopieren“, in den Text einfügen

Mehr zur Formatierung

Längeren Sourcecode als Anhang, nicht in den Text. JPG nur für Fotos und Scans; Zeichnungen und Screenshots als PNG oder GIF. Siehe Bildformate.

Schon registriert? Anmelden

Wird nicht angezeigt. Wir schicken dir einen Link; sobald du damit bestätigst, erscheint dein Beitrag.

Mit dem Abschicken legst du einen kostenlosen Account an und erkennst die Nutzungsbedingungen und die Datenschutzerklärung an.