Python, korrektes Speichern der aktuellen Zeit in Binärdatei

[Michael (Gast)]

Hallo zusammen,

vielleicht kann mit jemand hier weiterhelfen, ich möchte eingehende 
UDP-Daten  (4Bytes je Minute) zusammen mit der aktuellen Systemzeit in 
eine Datei speichern. Aus dieser Datei sollen z.b. alle 3 Stunden die 
Einträge der letzten 2 Tage ausgelesen und dann grafisch als Bild 
angezeigt werden.

Hier habe ich das Problem, die Systemzeit wohl nicht korrekt in die 
Datei Speichern zu können. Bei den 4 Eingangsbytes gibt es das Problem 
nicht.

Dazu hier der Code, welcher die Zeit in die Datei speichern soll:

import time
import socket
import struct
port = 80
s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
s.bind(("", port))
print ("waiting on port:", port)
is_negative = 0
temp = 0
temp_float = 1.0
datatype='ff'
while(1):
        
        data, addr = s.recvfrom(1024)
        temp=int.from_bytes(data, "big", signed=False)
        temp_float = temp/10.0
        wr=struct.pack('ff',time.time(),temp_float)
        print("Type of wr : " + str(type(wr)))
        print("wr: " + str(wr))
        print("Original value of time.time() : " + str(time.time()))
        print("Type of time.time() : " + str(type(time.time())))
        local=time.localtime(time.time())
        #print("Read entry[0].localtime : " + str(local))
        print("Decoded Time entry[0].localtime.asciitime: " + str(time.asctime(local)))
        f=open("tempdaten.bin","ab+")
        f.write(wr)
        f.close()
        print(str(temp_float))
        print()

Hier das gegenstück zum Auslesen:

import time
import struct

dataset = []                                #declare empty list
with open('tempdaten.bin', 'ab+') as f:
    print("A")
    pos=f.tell()                            #actual file position ist last
    #f.seek(pos-20)                         #get last 20 entrys
    i=3*8
    print("B")
    while i > 0:                            #20 times
        print("Round-NR : " + str(i))
        f.seek(pos-i)
        print("Actual last pos : " + str(pos))
        print("Actual adderssed pos : " + str(pos-i))
        entry = f.read(8)                   #read one entry
        print("Unpacked-Entry " + str(struct.unpack('ff',entry)))
        print("Read-Entry : " + str(entry))
        print("Length of Entry : " + str(len(entry)))
        print("Type of entry[0] : " + str(type(entry[0])))
        local=time.localtime(float(entry[0]))
        print("Read entry[0].localtime : " + str(local))
        print("Decoded Time entry[0].localtime.asciitime: " + str(time.asctime(local)))
        i = i - 8

Schaue ich mir nun die Debug-Ausgaben an, so bekomme ich beim Schreiben:

Type of wr : <class 'bytes'>
wr: b'iB\xc1N33\xafA'
Original value of time.time() : 1621177533.532084
Type of time.time() : <class 'float'>
Decoded Time entry[0].localtime.asciitime: Sun May 16 17:05:33 2021
21.9

Type of wr : <class 'bytes'>
wr: b'jB\xc1Nff\xaeA'
Original value of time.time() : 1621177544.1373923
Type of time.time() : <class 'float'>
Decoded Time entry[0].localtime.asciitime: Sun May 16 17:05:44 2021
21.8

Type of wr : <class 'bytes'>
wr: b'jB\xc1N33\xafA'
Original value of time.time() : 1621177554.720464
Type of time.time() : <class 'float'>
Decoded Time entry[0].localtime.asciitime: Sun May 16 17:05:54 2021
21.9

Beim Lesen:

Round-NR : 24
Actual last pos : 14480
Actual adderssed pos : 14456
Unpacked-Entry (1621177472.0, 21.899999618530273)
Read-Entry : b'iB\xc1N33\xafA'
Length of Entry : 8
Type of entry[0] : <class 'int'>
Read entry[0].localtime : time.struct_time(tm_year=1970, tm_mon=1, tm_mday=1, tm_hour=1, tm_min=1, tm_sec=45, tm_wday=3, tm_yday=1, tm_isdst=0)
Decoded Time entry[0].localtime.asciitime: Thu Jan  1 01:01:45 1970
Round-NR : 16
Actual last pos : 14480
Actual adderssed pos : 14464
Unpacked-Entry (1621177600.0, 21.799999237060547)
Read-Entry : b'jB\xc1Nff\xaeA'
Length of Entry : 8
Type of entry[0] : <class 'int'>
Read entry[0].localtime : time.struct_time(tm_year=1970, tm_mon=1, tm_mday=1, tm_hour=1, tm_min=1, tm_sec=46, tm_wday=3, tm_yday=1, tm_isdst=0)
Decoded Time entry[0].localtime.asciitime: Thu Jan  1 01:01:46 1970
Round-NR : 8
Actual last pos : 14480
Actual adderssed pos : 14472
Unpacked-Entry (1621177600.0, 21.899999618530273)
Read-Entry : b'jB\xc1N33\xafA'
Length of Entry : 8
Type of entry[0] : <class 'int'>
Read entry[0].localtime : time.struct_time(tm_year=1970, tm_mon=1, tm_mday=1, tm_hour=1, tm_min=1, tm_sec=46, tm_wday=3, tm_yday=1, tm_isdst=0)
Decoded Time entry[0].localtime.asciitime: Thu Jan  1 01:01:46 1970

Wie man sieht sind die gelsenen Bytes z.b. jB\xc1N33\xafA mit den 
geschriebenen identisch.
Im letzten Eintrag wird die Zeit: 1621177600.0 gelesen, jedoch war die 
wahre Sytemzeit: 1621177554.720464

Dies führt dazu, dass demnach Sun May 16 17:05:54 2021 geschrieben 
wurde, jedoch immer eine zeit zu Beginn der Computerzeit: Thu Jan  1 
01:01:46 1970
gelesen wird.

Zumindest denke ich dass es so ist.
Hat jeman vielleicht eine Idee, wie man das beheben kann, oder an was es 
sonst liegt?

Schöne Grüße,
Michael

[Moskito (Gast)]

Schreiben/Lesen ist nicht dein Problem, der Unix timestamp taucht ja 
beim Lesen wieder auf.

'entry' ist nicht das, was du erwartest (du unpackst nur für die eine 
Log-Ausgabe).
entry[0] ist deshalb das 'j' (ASCII 106).
Damit landest du 106 Sekunden (1 min 46 sec) nach Unix timestamp 0.

[Michael (Gast)]

Moskito schrieb:
> Schreiben/Lesen ist nicht dein Problem, der Unix timestamp taucht ja
> beim Lesen wieder auf.
>
> 'entry' ist nicht das, was du erwartest (du unpackst nur für die eine
> Log-Ausgabe).
> entry[0] ist deshalb das 'j' (ASCII 106).
> Damit landest du 106 Sekunden (1 min 46 sec) nach Unix timestamp 0.

Vielen Dank für den Hinweis, nun kommen keine völlig falschen Zeiten 
mehr heraus.

Ein Problem besteht jedoch noch, es wird immer eine ganze Zahl an 
Einträgen mit zwar unterschiedlichen und korrekten 4Bytes, jedoch mit 
falschem (gruppiertem) Zeitstempel ausgelesen. Also haben z.b. 20 Werte 
eine identische Zeit, die nächsten 20 Werte wieder eine identische Zeit, 
in meinem aktuellen Fall mit 10Sec/Nachricht ca. 2Min später haben.

Hier sehe ich noch ein Problem mit der Wandlung/Packung der Zeit durch 
das Struct beim Schreiben.
Prinzipiell sind lese+schreibbytes identisch, jedoch sind die 
Eingabezeiten immer mit Nachkommastellen, die Ausgabezeiten immer mit 
xxxx.0 sozusagen abgeschnitten. Ich denke daher kommt das, werde ich mir 
morgen ansehen.
Oder, wenn jemand da mehr wüsste wäre das auch schon toll :)

Grüße,
Matthias

[Imonbln (Gast)]

Michael schrieb:
> vielleicht kann mit jemand hier weiterhelfen, ich möchte eingehende
> UDP-Daten  (4Bytes je Minute) zusammen mit der aktuellen Systemzeit in
> eine Datei speichern. Aus dieser Datei sollen z.b. alle 3 Stunden die
> Einträge der letzten 2 Tage ausgelesen und dann grafisch als Bild
> angezeigt werden.

Auch wenn die Antwort, vielleicht ein wenig OT ist, warum willst du das 
selbst machen? Influxdb, ist genau für solche Einsätze erfunden worden 
und es gibt schöne Frontends um die Daten hübsch darzustellen. Grafana 
zum Beispiel (auch wenn das mit Kanonen auf Spatzen schießen ist, wenn 
es nur um diese Messreihe geht)

Im Besten fall musst du nur ein kleines Pythonscript schrieben, was die 
UDP Daten empfängt und an die Influxdb sendet, welche sich um den 
Zeitstempel und die passenden Bilder für dich kümmert.