mehrfach gezippte Dateien

[Liposom (Gast)]

Hallo,

ich muss in Python ein Programm schreiben, mit dem ich mehrfach gezippte 
Dateien entpacken und lesen kann. Die einzelnen Datendateien sind 
gepackt und immer mehrere Datendateien sind nochmals in einem Zipfile 
zusammengefügt worden.

Beispiel:

Ebene_1:
========
Datensatz1.zip
Datensatz2.zip
Datensatz3.zip
Datensatz4.zip

Diese vier Datensätze sind nochmals zusammengepackt in der Datei

Ebene_0 (Verzeichnisname F:\Test):
==================================
Datensaetze1-4.zip
Datensaetze5-8.zip
Datensaetze9-12.zip

Zum Entzippen verwende ich die Bibliothek

import zipfile


Wie bin ich bisher vorgegangen?

Zuerst habe ich alle Zip-Dateien der Ebene 0 im Verzeichnis bestimmt und 
in einer Liste gespeichern (list_layer_0).

In einer for-Schleife gehe ich list_layer_0 durch und bestimme die 
Dateinamen der Dateien in der Ebene 1.

#!/usr/bin/env python

import os
import zipfile

# zip-file-path
zip_file_path = "F:\\test"

index = 0

if os.path.isdir (zip_file_path) == True:
    print "Verzeichnis existiert"
    os.chdir (zip_file_path)
    list_layer_0 = os.listdir (zip_file_path)
    # print filelist
    print len ( list_layer_0    )
    index = index + 1
    ucount = 0
    for file_in_list_layer_0 in list_layer_0:
        # print file_in_list_layer_0
        ucount = ucount+1
        if ucount == 1:
            f_0 = file (file_in_list_layer_0)
            z_0 = zipfile.ZipFile (f_0, "r")
            list_layer_1 = z_0.namelist()
            z_0_file = z_0.open (file_in_list_layer_0)
            for file_in_list_layer_1 in list_layer_1:
                print file_in_list_layer_1
                f_1 = file (file_in_list_layer_1)
                z_1 = zipfile.ZipFile (f_1, "r")
                
                z_1.close ()
                
            z_0.close ()
        
else:
    print "Verzeichnis existiert nicht"

Das "ucount" dient nur dazu, für den Testzweck eine Datei der Ebene 0 zu 
öffnen, wenn es funktioniert, kann diese if-Bedingung entfernt werden 
und es werden dann alle Dateien der Ebene 0 genommen.

Ich weis momentan nicht, wie ich das Problem angehen soll. Ich möchte 
jetzt z.B. die Datei Datensatz1.zip in Datensaetze1-4.zip öffnen und den 
Inhalt auslesen.

Die Beispiele von Python, die ich bisher gefunden habe, gehen nur davon 
aus, dass es sich nur um eine gezippte Ebene handelt. Dort könnte ich 
einfach mit einem read-Befehl den Inhalt der Datei auslesen

filecontent = z_0.read()

Ich müsste in der zweiten Schleife so arbeiten:

filecontent = z_1.read()

Da kommt aber die Fehlermeldung, dass die Datei nicht existiert.

Meine Idee wäre jetzt folgende - ich muss mir ein temporäres Verzeichnis 
erstellen, in das ich eine Datei aus der Ebene 0 nehme 
(Datensaetze1-4.zip), die in dem Temp-Verzeichnis entpacke und dann hab 
ich nur noch eine Ebene von Zip-Dateien, die ich öffnen, lesen und 
wieder schließen kann.

Gäbe es noch andere Möglichkeiten? Über ein paar Ideen oder Tipps würde 
ich mich sehr freuen.

[ich (Gast)]

Ich habe mit Python noch nichts gemacht, aber eine Idee wäre vielleicht, 
die ganze Verzeichnisstruktur mit Rekursion durchzugehen. So wie man 
auch "normale", also ungepackte Verzeichnisse durchgeht, zum Anzeigen 
einer Baumstruktur beispielsweise.
Ich weiß aber nicht, ob in Python rekursive Aufrufe möglich sind.

[Liposom (Gast)]

ich schrieb:
> aber eine Idee wäre vielleicht,
> die ganze Verzeichnisstruktur mit Rekursion durchzugehen.

Vielen Dank für den Tipp mit der Rekursion. Vom Gefühl her würde ich 
sagen, dass eine Rekursion zwar möglich ist, aber nur eine andere 
Variante als zwei ineinanderverschachtelte for-Schleifen ist.

Das Problem bleibt aber noch bestehen, wie greife ich auf eine Zip-Datei 
in einer Zip-Datei zu. Muss die erste Datei dazu entpackt werden oder 
nicht. Nehme ich die Lesefunktion XXX.read (), dann kommt ein Fehler 
(Bad CRC-32) und das liegt eben daran, dass die Datei in Ebene_1 ja auch 
nochmal eine zip-Datei ist.

[Karl H. (kbuchegg)]

Liposom schrieb:

> Die Beispiele von Python, die ich bisher gefunden habe, gehen nur davon
> aus, dass es sich nur um eine gezippte Ebene handelt.

Ich würde eher sagen, dass diese Klasse wohl davon ausgeht, dass das 
Zip-File im Dateisystem vorliegt.

D.h. ich würde erst mal hergehen und alle Zip-Files aus dem 'Archiv' der 
Ebene 0 entpacken und als eigene Zip-Files im Dateisystem anlegen. Dann 
kann man den Entzipper reiheum auf die so gewonnenen Zip-Files anwenden.


> Meine Idee wäre jetzt folgende - ich muss mir ein temporäres Verzeichnis
> erstellen, in das ich eine Datei aus der Ebene 0 nehme
> (Datensaetze1-4.zip), die in dem Temp-Verzeichnis entpacke und dann hab
> ich nur noch eine Ebene von Zip-Dateien, die ich öffnen, lesen und
> wieder schließen kann.

klingt vernünftig.

[kopfkratzer (Gast)]

Um's entpacken kommst Du nicht herum, entweder in /tmp einen 
Arbeitsordner anlegen und da entpacken und verschieben oder eine 
RAM-Disk anlegen.

[Tom K. (ez81)]

Karl Heinz schrieb:
> Ich würde eher sagen, dass diese Klasse wohl davon ausgeht, dass das
> Zip-File im Dateisystem vorliegt.
Man kann zwar eine Datei direkt aus einem Zipfile öffnen, ganz 
transparent ist das aber nicht, weil nicht alle Methoden implementiert 
sind:
>ZipFile.open(name[, mode[, pwd]])
>Extract a member from the archive as a file-like object (ZipExtFile).
>Note: The file-like object is read-only and provides the following methods:
>read(), readline(), readlines(), __iter__(), next().

Für viele Dinge reicht das, um es wiederum als Zip-File zu öffnen aber 
nicht, da ZipFile() seek braucht.

Ich wollte schon immer mal mit Generatoren spielen 
http://www.dabeaz.com/generators/ und dies war ein schön übersichtliches 
Problem dazu.

$ ./entzip0r.py 
/tmp/ziptests/0-4.zip|0.txt enthaelt: Ich bin 0.
/tmp/ziptests/0-4.zip|1-3.zip|1.zip|1.txt enthaelt: Ich bin 1.
/tmp/ziptests/0-4.zip|1-3.zip|2.txt enthaelt: Ich bin 2.
/tmp/ziptests/0-4.zip|1-3.zip|3.txt enthaelt: Ich bin 3.
/tmp/ziptests/0-4.zip|4.zip|4a.txt enthaelt: Ich bin 4a.
/tmp/ziptests/0-4.zip|4.zip|4b.txt enthaelt: Ich bin 4b.
/tmp/ziptests/0-4.zip|4.zip|4c.zip|4c1.txt enthaelt: Ich bin 4c1.
/tmp/ziptests/0-4.zip|4.zip|4c.zip|4c2.txt enthaelt: Ich bin 4c2.
/tmp/ziptests/111.txt enthaelt: Und ich bin 111