Python (Pandas) Daten interpolieren

Interpreter Nummer 7 schrieb:
> Ohne, dass Du in der Tabelle was beschreibst, anzeichnest und erklärts,
> wird da keiner durchblicken.

Danke für den Hinweis!

Ok, ich versuche es mal mit den echten Daten:

Halbstündlich:

1

   Datum   Zeit   Temperatur   Luftdruck   Wind   Windrichtung   rel Luftfeuchtigkeit   Globalstrahlung

2

0   01.01.2017   00:30   -4,8   1027   3,6   189   98   1

3

1   01.01.2017   01:00   -4,9   1027   3,4   186   98   1

4

2   01.01.2017   01:30   -5,2   1026   4,3   199   98   1

Viertelminütlich:

1

   Datum   Uhrzeit   Ana1/1 - T.Kollektor   Ana2/1 - Solarstr.   Ana3/1 - T.Solar-VL   

2

0   2017-01-01   00:00:04   -3.9   -9999   26.0        

3

1   2017-01-01   00:00:18   -3.9   -9999   26.0    

4

2   2017-01-01   00:00:33   -3.9   -9999   25.9    

5

3   2017-01-01   00:00:48   -3.9   -9999   26.0       

6

4   2017-01-01   00:01:04   -3.9   -9999   26.0    

7

5   2017-01-01   00:01:18   -3.9   -9999   25.9

Die halbstündlichen Daten sollen linear interpoliert werden.
Dann gibt es ja zu jedem Zeitpunkt einen eindeutigen Wert.
Die Zeitpunkte werden durch die Messpunkte der viertelminütlichen Werte 
vorgegeben
und sollen in deren Datensatz eingefügt werden.

Jetzt verständlicher?

Ne, auf eine sekundengenaue Zusammenführung kommt es nicht an.

Christoph schrieb:
> ich würde erst ein Upsampling auf den halbstündlichen Daten auf dein
> Intervall von den anderen Zeitstempeln machen und dann die NaN-Werte
> mittels Interpolation füllen.

Es dauerte eine Stunde, aber dann hat es funktioniert :-)
Danke für die "Anleitung".
Das Ergebnis ist im angehängten Bild zu sehen.

Christoph schrieb:
> Anschließend kann man die DataFrames über
> die Zeitstempel joinen

Das sollte ja kein Problem sein und sogar ziemlich gut passen,
da die beiden Zeitstempel sich meist nur um 5 Sekunden unterscheiden.

Nur habe ich leider gar keinen Ansatzpunkt wie das in Pandas zu 
realisieren ist.

Vielleicht noch eine Hilfestellung?

Danke und Gruß Kolja

P.S.
Warum hat der Index in der unteren Tabelle einen Zeilenumbruch?
Ist nur kosmentisch, aber stört mich trotzdem.

Hallo Christoph

merge_asof() sieht gut aus, aber ich verstehe nicht,
warum ich diesen Fehler bekomme:

In: df=pd.merge_asof(daten, daten1, 
on='DatumZeit',tolerance=pd.Timedelta('10s') )

Out: KeyError: 'DatumZeit'

"on" soll doch die Spalte sein, nach der zusammengeführt wird,
also der Index der beiden Tabellen.

Bei den Wetterdaten (die ersten, interpolierten) gibt es folgenden 
Fehler:
TypeError: Only valid with DatetimeIndex, TimedeltaIndex or PeriodIndex, 
but got an instance of 'RangeIndex'

Bei den Solardaten nicht.

Ah, der muss ja nach dem set_index genaus damit die Interpolation 
durchführen.
Der kann also nicht weg.

Verstehe nicht so ganz was du mit der Zeile bezwecken willst,
habe es mal wie im Bild zu sehen interpretiert.

Jetzt gibt es aber keine Zeit mehr, außer im Index

Meinst du mit der zweiten Zeile die mit .replace()?
Ist notwendig, da Stunden nur zwischen 0 und 23 akzeptiert werden.

Aber die Idee mit dem Index verschieben hat etwas gebracht,
ich hab nur noch nicht ganz verstanden was.

Erstmal essen :-)

Im Bild noch der Zwischenstand.

Auf jeden Fall vielen Dank bis jetzt!

1

wetterdaten = pd.read_csv("WetterdatenJanMai2007.txt",sep=";",decimal=".",encoding="cp1252")

2

wetterdaten['Zeit'] = wetterdaten['Zeit'].replace("24:00","00:00")

3

wetterdaten["DatumZeit"] = pd.to_datetime(wetterdaten["Datum"] + " " + wetterdaten["Zeit"])

4

wetterdaten.set_index(["DatumZeit"], inplace=True)

5

wetterdaten = wetterdaten.resample('15S').fillna(method='ffill')

6

wetterdaten["time"] = wetterdaten.index

7

wetterdaten 

8

9

solardaten = pd.read_csv("JanMai2007.csv",sep=";",decimal=",",encoding="cp1252")

10

solardaten["DatumZeit"] = pd.to_datetime(solardaten["Datum"] + " " + solardaten["Uhrzeit"])

11

solardaten.set_index(["DatumZeit"], inplace=True)

12

solardaten["time"] = solardaten.index

13

solardaten 

14

15

df=pd.merge_asof(solardaten,wetterdaten, on='time',tolerance=pd.Timedelta('10s') )

16

df

Nochmal der Code, weil im Bild so klein

Christoph schrieb:
> Hat der merge denn geklappt, d.h. stehen in df die Daten richtig drin?

Weiß ich noch nicht, etwas unübersichtlich das alles...

Christoph schrieb:
> Ggf. mal die doppelten Spalten droppen...

Wie kann ich den generell nur ausgewählte Spalten anzeigen?
Das geht leider nicht: daten["Datum_x","Uhrzeit"]

Christoph schrieb:
> Nein, ich meinte die zweite Zeile in beiden DataFrames wo in der ersten
> Spalte DatumZeit steht aber sonst nix weiter.

Wundert mich auch warum die da ist, stört aber nicht.

Christoph schrieb:
> Ein df.shape gibt schonmal einen Anhaltspunkt über die Größe- vergleiche
> das mal mit den ursprünglichen Daten, ob das hinkommen kann.

Mhh, das passt dann noch nicht :-(

wetterdaten.shape
1952521 rows × 9 columns

solardaten.shape
865866 rows × 92 columns

merge_asof

daten.shape
865866 rows × 100 columns



Und .loc funktioniert irgendwie gar nicht:

daten.loc["Uhrzeit"]

ergibt:

KeyError: 'the label [Uhrzeit] is not in the [index]'

Kolja L. schrieb:
> Und .loc funktioniert irgendwie gar nicht:

Aber ist .loc nicht nur für Series und nicht für DataFrames?

edit, so gehts:

daten[['Datum_x','Uhrzeit','time','Datum_y','Zeit','Temperatur']]

Christoph schrieb:
> Hm, sind auch genügend solardaten vorhanden bzw. geht die Messreihe so
> lang wie beim Wetter?

Ne, zweimillionen vs. achthundertausend

Kolja L. schrieb:
> wetterdaten.shape
> 1952521 rows × 9 columns
>
> solardaten.shape
> 865866 rows × 92 columns
>
> merge_asof
>
> daten.shape
> 865866 rows × 100 columns

Aber es sollten ja...

Ja, jetzt ist nur noch die Frage, warum die noicht gleich lang sind.

Ich reduziere mal die Anzal der Zeilen.