Python: Spalten von csv.DictReader entfernen

[Dennis S. (eltio)]

Hallo zusammen,
ich lese eine Reihe von CSV-Dateien ein und konvertiere sie in Python.

reader = csv.DictReader(file, delimiter=";")
next(reader)
out = json.dumps([row for row in reader])

Das Problem ist: einige CSV-Dateien haben am Ende ein abschließendes 
Semikolon. Die Ausgabe einer Reihe von reader lautet dann z.B.:

{'': '', 'A': '111', 'B': '222', 'C': '333'}

Gibt es eine elegante Möglichkeit die Spalte '': '' rauszufiltern? Auf 
die Eingangsdaten habe ich so erstmal keinen Einfluss.

Gruß
Dennis

[SR (Gast)]

http://stackoverflow.com/questions/31822350/skip-blank-columns-in-csv-dictreader

Ich würde aber bevorzugen die Datei neu zu speichern und vorher auf 
jeder Zeile ein rstrip(';') zu machen...

[Dennis S. (eltio)]

Vom kompletten Neuschreiben schrecke ich im Moment etwas zurück, weil 
die Dateien insgesamt mehrere hundert MB groß werden können.. Ich hatte 
gehofft es gibt was trickiges in der Zeile mit dem json.dumps.

[SR (Gast)]

Das ist ja im geposteten Link skizziert - da wird dir nichts anderes 
übrig blieben als auch noch in jeder Zeile die letzte Zelle zu prüfen.

[SR (Gast)]

Wenn es dir um die Performance bei großen Dateien geht - du hast doch 
sicher sed zur Hand?

Dann einfach (auch mit Python vorher / os.popen oder auch anders):

sed 's/;$//' datei.csv > datei_ohne_trailing_semikolon.csv

[Tom K. (ez81)]

Der Parameter file in csv.DictReader
"can be any object which supports the iterator protocol and returns a 
string each time its __next__() method is called — file objects and list 
objects are both suitable"

Deshalb kann man eine Generator-Funktion zwischen Datei und Konstruktor 
schummeln, die die Zeilen vorbearbeitet:

def fix_lines(infile):
    for line in infile:
        yield line.rstrip().rstrip(';')

content = open('1.csv')
reader = csv.DictReader(fix_lines(content), delimiter=";")
next(reader)
out = json.dumps([row for row in reader])
print(out)

[Dennis S. (eltio)]

Danke für eure Anregungen.

@Tom K: Die Möglichkeit mit Generatoren zu arbeiten kenne ich, ist mir 
aber noch nicht so richtig in Fleisch und Blut übergegangen.

Im Endeffekt probiere ich es erstmal mit dem "Preprocessing" und dem 
Neuschschreiben einer Datei. Es wird sich zeigen ob das wirklich ein 
Problem darstellt.

Gruß
Dennis