Python: Zusammenfassen großer Listen

Klaus Maus schrieb:
> Wo bleiben die Zeilen [10, 7, 5] und [12, 14, 8]?
Die werden in die nächste Zeile geschmissen
[10, 1, 1, 12, 0, 36, 14, 60, 69, 18, 0, 17],
[10, 7, 5, 12, 14, 8, ....]

> Vielleicht was in die Richtung?
Gute Idee, schaue ich mir mal genauer an!

> Ach ja: Python ist ziemlich flott. 20k Zeilen sind auf einem halbwegs
> aktüllen Rechner eher pillepalle.
Damit wollte ich auch nur den Vorschlag ausschließen, das händisch zu 
machen! ;-)

Gruß Dennis

Der Beitrag von Klaus war schon recht hilfreich, aber ich versuche es 
nochmals zu formulieren:

Ich nenne die erste Spalte jetzt "ID". Es könnten die ID 10, 12, 14, 16 
und 18 auftreten, jedoch nicht zwangsläufig in der Reihenfolge und / 
oder gleich häufig (d.h. doppeltes Auftreten direkt hintereinander ist 
möglich, fehlen auch jedoch selten).

Grundsätzliches Ziel ist es eine Liste folgender Art zu bekommen:

1. Zeile beinhaltet das erste Auftreten aller ID inkl. "Daten"
2. Zeile beinhaltet das zweite Auftreten aller ID inkl. "Daten"
3. Zeile beinhaltet das dritte Auftreten aller ID inkl. "Daten"

Jedoch soll erst eine neue Zeile "angefangen" werden, wenn das Set 
komplett ist. Kommt also die Zeile mit der ID 12 zweimal vor, so wird 
das erste oder zweite Vorkommen (unwichtig) ignoriert und zunächst nach 
der 14 gesucht.

Sollte eine ID fehlen (bspw. die 14) soll das komplette Set verworfen 
werden.

"Startpunkt" des Algorithmus soll die ID 10 sein. Also etwas in die 
Richtung wie:
wenn ID = 10 dann füge Daten zur Liste hinzu,
wenn ID = 12 und ID 10 bereits in Liste, füge Daten von ID 12 hinzu,
wenn ID = 14 und ID 14 bereits in Liste, füge Daten von ID 14 hinzu,
...


Ist das verständlicher?

Gruß
Dennis

Hallo adsf,

vielen Dank schon mal! Ich habe in der Tat sehr wenig Python-Erfahrung 
und das Thema Generatoren ist mir völlig unbekannt...

Ich habe jetzt den Code von dir an den Kopf meiner Quelldatei gepastet. 
Den Aufruf mache ich wie ich es häufiger im Netz gefunden habe mit

for n in transform(dataSet):
    print n

Leider kommt keine Ausgabe... Was habe ich übersehen?

Gruß Dennis

Mein Ansatz scheint zu funktionieren, ist aber vermutlich sehr dreckig 
programmiert..

1

new = []

2

print("!> Clustering data...")

3

maxData = len(dataSet) / 5 * 5

4

for n in range(0, maxData - 1):

5

    #print n

6

    if dataSet[n][2]    == 10 and \

7

       dataSet[n+1][2]  == 12 and \

8

       dataSet[n+2][2]  == 14 and \

9

       dataSet[n+3][2]  == 16 and \

10

       dataSet[n+4][2]  == 18:

11

        new.append([dataSet[n],  \

12

                        dataSet[n+1], \

13

                        dataSet[n+2], \

14

                        dataSet[n+3], \

15

                        dataSet[n+4]])

16

    else: continue

17

18

# create an additional file for debugging

19

with open("tmp_" + inputFile, 'wb') as f:

20

    writer = csv.writer(f, delimiter = delimOutput)

21

    writer.writerows(new)

>Mein Ansatz scheint zu funktionieren

nein,



>Nun habe ich verschiedene Probleme: Zum Einen kann es vorkommen, dass
>z.B. die 12 zwei mal hintereinander vorkommt.


10, 12, 12, 14, 16, 18

lässt dein Programm KOMPLETT aus...

Ja, dessen bin ich mir bewusst. Aber ich finde im Moment keine andere 
Möglichkeit und dies ist "besser" als ein unvollständiges Datenset.

Gruß
Dennis