Linux nicht numerische Elemente filtern

Gast #6982092
Lesenswert?
• ▲
▼
Hi
ich möchte grad ein ein CSV in eine Datenbank übertragen, etwa 2 
Millionen Zeilen.
Das 3. Element jeder Zeile sollte ein reiner numerischer Wert sein. Es 
gibt aber im csv einige wenige Zeilen, bei dem der entsprechende Wert 
auch noch Punkt, Komma und/oder Bindestrich enthält.
Wie kann ich unter Linux die Zeilen herausfiltern, bei denen das 3. 
Element nicht rein numerisch ist?
#6982243
Lesenswert?
• ▲
▼
Kalkverbrenner schrieb:
> ich möchte grad ein ein CSV in eine Datenbank übertragen, etwa 2
> Millionen Zeilen.
> Das 3. Element jeder Zeile sollte ein reiner numerischer Wert sein. Es
> gibt aber im csv einige wenige Zeilen, bei dem der entsprechende Wert
> auch noch Punkt, Komma und/oder Bindestrich enthält.
> Wie kann ich unter Linux die Zeilen herausfiltern, bei denen das 3.
> Element nicht rein numerisch ist?

Vielleicht ist csvkit [1] etwas für Dich?

[1] https://csvkit.readthedocs.io/en/latest/
Moderator #6982259
Lesenswert?
• ▲
▼
Lutz schrieb:
> Was ist denn der Separator in der CSV? Hoffentlich kein Comma;)

Hoffentlich doch, sonst wäre es ja kein echtes CSV :)

Felder mit Kommata können ja in Anführungszeichen gesetzt werden, damit
die Kommata nicht als Separatoren interpretiert werden. Das Problem ist
nur, dass nicht alle Programme einheitlich mit solchen und anderen
Sonderfällen (bspw. Zeilenumbrüche innerhalb von Textfeldern) umgehen.
Deswegen sollte man sich, bevor man eine CSV-Datei zu verarbeiten
versucht, vergewissern, wie diese aufgebaut ist, welche Zeichen die
Felder enthalten können und wie ggf. Mehrdeutigkeiten behandelt werden.
Gast #6982273
Lesenswert?
• ▲
▼
> Wie kann ich unter Linux die Zeilen herausfiltern, bei denen das 3.
> Element nicht rein numerisch ist?

Mit der Einschränkung, dass awk die Escaping-Regeln von CSV nicht kennt:
1
# awk -F',' '$3 ~ /^[0-9]+$/' datei.csv
Persönliche Seite #6983211
Lesenswert?
• ▲
▼
schreib ein Script.
Z.B. in python (oder einer anderen Programmiersprache, die du kannst und 
in der du sowohl mit der DB sprechen als auch das CSV einlesen kannst)

Mit p ≈ 1 ist das eh nicht das letzte Problem in den Eingangsdaten, da 
ist es gut den Import wiederholen zu können.

Importiere vorerst in eine leere Tabelle bis alles passt. Nichts ist 
ärgerlicher als nachträglich Daten in der DB korrigieren zu müssen, 
besonders wenn in der Tabelle noch andere Daten sind.

Antwort schreiben

Hinweis: der ursprüngliche Beitrag ist mehr als 6 Monate alt. Bitte hier nur auf die ursprüngliche Frage antworten, für neue Fragen einen neuen Beitrag erstellen.

Formatierung
  • [c]C-Code[/c]
  • [code]Code in anderen Sprachen, ASCII-Zeichnungen[/code]
  • [math]Formel in LaTeX-Syntax[/math]
  • [[Titel]] – Link zu einem Artikel
  • Verweis auf einen anderen Beitrag: Rechtsklick auf dessen Beitrags-ID (#8078628), „Adresse kopieren“, in den Text einfügen

Mehr zur Formatierung

Längeren Sourcecode als Anhang, nicht in den Text. JPG nur für Fotos und Scans; Zeichnungen und Screenshots als PNG oder GIF. Siehe Bildformate.

Schon registriert? Anmelden

Wird nicht angezeigt. Wir schicken dir einen Link; sobald du damit bestätigst, erscheint dein Beitrag.

Mit dem Abschicken legst du einen kostenlosen Account an und erkennst die Nutzungsbedingungen und die Datenschutzerklärung an.