Linux nicht numerische Elemente filtern

Gast #6982092
Hi
ich möchte grad ein ein CSV in eine Datenbank übertragen, etwa 2 
Millionen Zeilen.
Das 3. Element jeder Zeile sollte ein reiner numerischer Wert sein. Es 
gibt aber im csv einige wenige Zeilen, bei dem der entsprechende Wert 
auch noch Punkt, Komma und/oder Bindestrich enthält.
Wie kann ich unter Linux die Zeilen herausfiltern, bei denen das 3. 
Element nicht rein numerisch ist?
#6982243
Kalkverbrenner schrieb:
> ich möchte grad ein ein CSV in eine Datenbank übertragen, etwa 2
> Millionen Zeilen.
> Das 3. Element jeder Zeile sollte ein reiner numerischer Wert sein. Es
> gibt aber im csv einige wenige Zeilen, bei dem der entsprechende Wert
> auch noch Punkt, Komma und/oder Bindestrich enthält.
> Wie kann ich unter Linux die Zeilen herausfiltern, bei denen das 3.
> Element nicht rein numerisch ist?

Vielleicht ist csvkit [1] etwas für Dich?

[1] https://csvkit.readthedocs.io/en/latest/
Moderator #6982259
Lutz schrieb:
> Was ist denn der Separator in der CSV? Hoffentlich kein Comma;)

Hoffentlich doch, sonst wäre es ja kein echtes CSV :)

Felder mit Kommata können ja in Anführungszeichen gesetzt werden, damit
die Kommata nicht als Separatoren interpretiert werden. Das Problem ist
nur, dass nicht alle Programme einheitlich mit solchen und anderen
Sonderfällen (bspw. Zeilenumbrüche innerhalb von Textfeldern) umgehen.
Deswegen sollte man sich, bevor man eine CSV-Datei zu verarbeiten
versucht, vergewissern, wie diese aufgebaut ist, welche Zeichen die
Felder enthalten können und wie ggf. Mehrdeutigkeiten behandelt werden.
Gast #6982273
> Wie kann ich unter Linux die Zeilen herausfiltern, bei denen das 3.
> Element nicht rein numerisch ist?

Mit der Einschränkung, dass awk die Escaping-Regeln von CSV nicht kennt:
1
# awk -F',' '$3 ~ /^[0-9]+$/' datei.csv
Persönliche Seite #6983211
schreib ein Script.
Z.B. in python (oder einer anderen Programmiersprache, die du kannst und 
in der du sowohl mit der DB sprechen als auch das CSV einlesen kannst)

Mit p ≈ 1 ist das eh nicht das letzte Problem in den Eingangsdaten, da 
ist es gut den Import wiederholen zu können.

Importiere vorerst in eine leere Tabelle bis alles passt. Nichts ist 
ärgerlicher als nachträglich Daten in der DB korrigieren zu müssen, 
besonders wenn in der Tabelle noch andere Daten sind.

Antwort schreiben

Eine eigene Frage? Dieser Thread ist über 4 Jahre alt. Stell sie in einem eigenen Thread – dort lesen mehr Leute mit, und sie wird öfter und schneller beantwortet.

Neuen Thread starten

Eine Lösung, Ergänzung oder Rückmeldung zu diesem Thread? Dann antworte hier.

Formatierung
  • [c]C-Code[/c]
  • [code]Code in anderen Sprachen, ASCII-Zeichnungen[/code]
  • [math]Formel in LaTeX-Syntax[/math]
  • [[Titel]] – Link zu einem Artikel
  • Verweis auf einen anderen Beitrag: Rechtsklick auf dessen Beitrags-ID (#8078628), „Adresse kopieren“, in den Text einfügen

Mehr zur Formatierung

Längeren Sourcecode als Anhang, nicht in den Text. JPG nur für Fotos und Scans; Zeichnungen und Screenshots als PNG oder GIF. Siehe Bildformate.

Schon registriert? Anmelden

Wird nicht angezeigt. Wir schicken dir einen Link; sobald du damit bestätigst, erscheint dein Beitrag.

Mit dem Abschicken legst du einen kostenlosen Account an und erkennst die Nutzungsbedingungen und die Datenschutzerklärung an.