Messwärte glätten und dann unzapplig anschauen

[Messwertglättung (Gast)]

Hi, ich abe einen Datensatz mit Messwerten, die hin- und herzappeln und 
dadurch das ganze Graphenschaubild ziemlich unruhig aussieht. Dabei sind 
die Werte alle immer um eine Art Mittelpunkt.

Wie kann man die Werte so verarbeiten, dass man das ganze glättet? Gibt 
es da einen mathematischen Trick oder ähnliches?

[Horst (Gast)]

Mittelwert bilden aka gleitendes Mittelwertfilter?

[Messwertglättung (Gast)]

ist denn das enigermaßen genau mit dem Mittelwertfilter? Wie geht das 
genau? Ich habe eine Datei mit den Messwwerten, die geglättet werden 
müssen. Aber in Excel kann ich die nicht einfügen, weil die Datenmenge 
zu groß ist.

[Draco (Gast)]

Ja willst du dir den Mittelwert in Excel bilden oder nicht? Oder was 
bildet dir dein "Graphenschaubild" ab?

[Horst (Gast)]

Messwertglättung schrieb:
> ist denn das enigermaßen genau mit dem Mittelwertfilter?

Was ist denn das für eine blöde Frage? Ja, ein Mittelwertfilter 
berechnet genau den Mittelwert. Wer hätte das gedacht. Die Frage ist 
doch eher, was du für Daten hast und ob das dazu passt.

Und wenn Excel nicht geht, dann nimm eine Programmiersprache deiner 
Wahl. Einfach geht es zB mit Python oder Octave.

[Johannes T. (johannes_t)]

Wenn du unbedingt mit Excel arbeiten willst, dann teile deine Datenmenge 
halt in mehrere kleine Dateien auf.
Wenn das auch nicht praktikabel ist, musst du eine Programmiersprache 
hernehmen. Kannst du eine?

... Horst war schneller ...

[T.U.Darmstadt (Gast)]

Wenn Excel nicht reicht, dann wird es eng. Da gehem ja inzwischen 
Datenblätter in der Größe eines Gigabytes.

[Nop (Gast)]

Unter Umständen wäre auch statt eines gleitenden Mittelwertes ein 
gleitender Median möglich. Nämlich dann, wenn Du Ausreißer (Spikes) 
weghaben willst.

Ein gleitender Mittelwert summiert die letzten N Werte auf und teilt sie 
durch N. Implementieren tut man das natürlich nicht so direkt, sondern 
man zieht vom aktuellen gleitenden Mittelwert den durch N geteilten 
ältesten Wert ab und addiert den durch N geteilten neuesten Wert drauf. 
Allerdings geht dann jeder Teilwert immer noch linear in den Mittelwert 
ein.

Der Effekt: Du hast eine Kneipe mit 99 Habenichtsen, und auf einmal 
verirrt sich ein Milliardär in diese Kneipe. Der gleitende Mittelwert 
ergibt dann, daß die Kneipe von Multimillionären besucht wird.

Der Median gibt Dir stattdessen den Wert, unterhalb/oberhalb dessen 50% 
der Werte liegen. Es ist dabei egal, wie WEIT einzelne Ausreißer gehen. 
Der Nachteil ist, daß man dann seine letzten N Werte sortieren muß, für 
embedded empfehle ich dabei Shellsort oder Heapsort.

In der besagten Kneipe wäre der gleitende Median nun das wahrscheinlich 
auch erwartete Ergebnis, daß der Mediangast ein Habenichts ist.

Fazit: Nimm ein Mittelwertfilter, um Rauschen wegzukriegen, und einen 
Medianfilter, um Spikes zu eliminieren.

[T.roll (Gast)]

Messwertglättung schrieb:
> Aber in Excel kann ich die nicht einfügen, weil die Datenmenge
> zu groß ist.

Daten gehören (oh Wunder) in eine DATENBANK.

Also installier dir MariaDB (mit XAMPP kannst du damit üben) und kipp 
das Zeug da rein. Das hat mit größeren Datenmengen auch keine Probleme 
und du kannst direkt bei der Abfrage soviel rechnen wie du willst.

Johannes T. schrieb:
> Wenn du unbedingt mit Excel arbeiten willst, dann teile deine Datenmenge
> halt in mehrere kleine Dateien auf.

Klingt nach dem typischen Windows-Programmierer. Immer die schlechteste 
Lösung finden. :)

[Moe S. (loetsinn)]

Wo kommen denn die Daten her? Wenn du die in Excel einfügst, müssen die 
ja zuerst in irgendeiner Form vorliegen. Öffnest du z.B. eine CSV-Datei 
in Excel?
Also: Welche Dateiendung hat dein "Datensatz" aus dem OP?

In Python ist so eine Glättung mit Pandas einfach und flexibel machbar, 
ich habs angehängt. Pandas kann so ziemlich alles einlesen, was es an 
bekannten Datenformaten gibt. R kann das auch, aber damit kenne ich mich 
nicht aus.
Sollte die Quelldatei so groß sein, dass Python hier ins Stocken gerät, 
kann man die Berechnung auch noch in "Chunks" aufteilen. Aber dafür 
müsstest du etwas mehr Infos rauslassen.

[Peter M. (r2d3)]

Beispielbilder für Messwertglättung in R mit ganz banaler 
Durchschnittsbildung:

http://www.thoralt.de/phpbb/viewtopic.php?f=7&t=819

[Sven B. (scummos)]

Nop schrieb:
> Der Median gibt Dir stattdessen den Wert, unterhalb/oberhalb dessen 50%
> der Werte liegen. Es ist dabei egal, wie WEIT einzelne Ausreißer gehen.
> Der Nachteil ist, daß man dann seine letzten N Werte sortieren muß, für
> embedded empfehle ich dabei Shellsort oder Heapsort.

Der Nachteil ist vor allem, dass der Median mehr rauscht als der 
Mittelwert bei gleicher Reaktionszeit. Wenn es keinen guten Grund gibt 
den Median zu nehmen, ist der Mittelwert die bessere Wahl.

[T.U.Darmstadt (Gast)]

Für diese rauschigen Werte braucht es aber ein etwas subtileres filter, 
als einfach den Mttelwert meine ich ...

[Sven B. (scummos)]

Wenn nicht mehr Information da ist, bringt dir der beste Filter nix ... 
signifikant besser als Mittelwert kann der Filter nur dann sein, wenn 
das Rauschen bestimmte Eigenschaften hat, zum Beispiel bei bestimmten 
Frequenzen besonders stark ist.