Python buffern bei Datei lesen

[Wutang (Gast)]

Hi,

ich versuche die Frage gank knapp zu stellen:

Wenn ich in Python ein (text)file öffne, kann ich da Zeilenweise drüber 
iterieren. Also per

for line in file:
    print(line)

ich kann auch einen größeren Block lesen:

buffer = file.read(512)
for foo in buffer:
    print(foo)

Wenn ich jetzt aber in dem Buffer iteriere ist das Zeichenweise.

Wie kann ich größere Sektoren per file.read() holen und da dann auch 
Zeilenweise iterieren? (Oder passiert das ggf. sogar 'unter der Haube')?


danke euch!

[Thomas Barends (Gast)]

Ist das hier was?

myfile=open('myfilename.txt','r')
mylines=myfile.readlines()
myfile.close()

for line in mylines:
    # DO THING WITH LINE

[Sheeva P. (sheevaplug)]

Thomas Barends schrieb:
> Ist das hier was?
>
> myfile=open('myfilename.txt','r')
> mylines=myfile.readlines()
> myfile.close()
>
> for line in mylines:
>     # DO THING WITH LINE

Das ist zwar richtig, aber je nach Anwendungsfall leider nur so... 
"halbschön", da die Datei auf diese Weise komplett in den Speicher 
geladen wird, was bei sehr großen Dateien etwas... problematisch werden 
kann. Zudem entfernt die Methode "readlines()" leider nicht den 
Zeilenumbruch am Ende der Zeilen.

Allerdings kann unser TO auf seinen Puffer die Methode "splitlines()" 
anwenden, die die Zeilenumbrüche entfernt, sich aber nicht an 
Zeilenumbrüchen orientiert. Ein "read(512).splitlines()" enthält im 
letzten Feld also mit einer sehr hohen Wahrscheinlichkeit eine 
unvollständige Zeile. Deswegen wäre so etwas wie

with open(filename, 'r') as ifh:
    bufferlist = ifh.read(BUFSIZE).splitlines()
    bufferlist[-1] += ifh.readline().strip()

vielleicht ein hübscherer Weg, die letzte Zeile vollständig zu lesen 
(readline()) und auch dort den Zeilenumbruch zu entfernen (strip()).

[Imonbln (Gast)]

Sheeva P. schrieb:
> vielleicht ein hübscherer Weg, die letzte Zeile vollständig zu lesen
> (readline()) und auch dort den Zeilenumbruch zu entfernen (strip()).

Vielleicht kann man das so umsetzen, das Ganze ist ein Generator, 
welcher die Datei Sektoren weise einließt und zeilenweise ausgibt.

from typing import Iterator

def lineread(fname: str) -> Iterator[bytes]:
    carry = bytes()
    with open(fname, 'rb') as fin:
         for chunk in iter(fin.read, b''):
             carry += chunk
             arr = carry.splitlines()
             yield from arr[:-1]
             carry = arr[-1]
         yield carry

[Imonbln (Gast)]

Nun auch in Funktioniernd, wenn das universal newline sich auf zwei 
Chunks verteilt.

def lineread(fname: str) -> Iterator[bytes]:
    carry = bytes()
    def rm_univeral_newline(x: bytes) -> bytes: return x.splitlines()[0]
    with open(fname, 'rb') as fin:
         for chk in iter(fin.read, b''):
               carry += chk
               arr = carry.splitlines(keepends=True)
               for x in arr[:-1]:
                   yield rm_univeral_newline(x)
               carry = arr[-1]
         yield rm_univeral_newline(carry)

[Rolf M. (rmagnus)]

Wutang schrieb:
> Wie kann ich größere Sektoren per file.read() holen und da dann auch
> Zeilenweise iterieren? (Oder passiert das ggf. sogar 'unter der Haube')?

Ja, das passiert 'unter der Haube' bereits. Der dritte Parameter von 
open() dient dazu, das Buffering zu konfigurieren.

[Vorname N. (mcu32)]

Einfach mal die Übergabeparameter der Funktion anschauen. Bei PyCharm 
geht das durch simples Anklicken der Funktion.