Messwärte glätten und dann unzapplig anschauen

Gast #4689347
Hi, ich abe einen Datensatz mit Messwerten, die hin- und herzappeln und 
dadurch das ganze Graphenschaubild ziemlich unruhig aussieht. Dabei sind 
die Werte alle immer um eine Art Mittelpunkt.

Wie kann man die Werte so verarbeiten, dass man das ganze glättet? Gibt 
es da einen mathematischen Trick oder ähnliches?
Gast #4689357
ist denn das enigermaßen genau mit dem Mittelwertfilter? Wie geht das 
genau? Ich habe eine Datei mit den Messwwerten, die geglättet werden 
müssen. Aber in Excel kann ich die nicht einfügen, weil die Datenmenge 
zu groß ist.
Gast #4689376
Messwertglättung schrieb:
> ist denn das enigermaßen genau mit dem Mittelwertfilter?

Was ist denn das für eine blöde Frage? Ja, ein Mittelwertfilter 
berechnet genau den Mittelwert. Wer hätte das gedacht. Die Frage ist 
doch eher, was du für Daten hast und ob das dazu passt.

Und wenn Excel nicht geht, dann nimm eine Programmiersprache deiner 
Wahl. Einfach geht es zB mit Python oder Octave.
Gast #4690232
Unter Umständen wäre auch statt eines gleitenden Mittelwertes ein 
gleitender Median möglich. Nämlich dann, wenn Du Ausreißer (Spikes) 
weghaben willst.

Ein gleitender Mittelwert summiert die letzten N Werte auf und teilt sie 
durch N. Implementieren tut man das natürlich nicht so direkt, sondern 
man zieht vom aktuellen gleitenden Mittelwert den durch N geteilten 
ältesten Wert ab und addiert den durch N geteilten neuesten Wert drauf. 
Allerdings geht dann jeder Teilwert immer noch linear in den Mittelwert 
ein.

Der Effekt: Du hast eine Kneipe mit 99 Habenichtsen, und auf einmal 
verirrt sich ein Milliardär in diese Kneipe. Der gleitende Mittelwert 
ergibt dann, daß die Kneipe von Multimillionären besucht wird.

Der Median gibt Dir stattdessen den Wert, unterhalb/oberhalb dessen 50% 
der Werte liegen. Es ist dabei egal, wie WEIT einzelne Ausreißer gehen. 
Der Nachteil ist, daß man dann seine letzten N Werte sortieren muß, für 
embedded empfehle ich dabei Shellsort oder Heapsort.

In der besagten Kneipe wäre der gleitende Median nun das wahrscheinlich 
auch erwartete Ergebnis, daß der Mediangast ein Habenichts ist.

Fazit: Nimm ein Mittelwertfilter, um Rauschen wegzukriegen, und einen 
Medianfilter, um Spikes zu eliminieren.
Gast #4690265
Messwertglättung schrieb:
> Aber in Excel kann ich die nicht einfügen, weil die Datenmenge
> zu groß ist.

Daten gehören (oh Wunder) in eine DATENBANK.

Also installier dir MariaDB (mit XAMPP kannst du damit üben) und kipp 
das Zeug da rein. Das hat mit größeren Datenmengen auch keine Probleme 
und du kannst direkt bei der Abfrage soviel rechnen wie du willst.

Johannes T. schrieb:
> Wenn du unbedingt mit Excel arbeiten willst, dann teile deine Datenmenge
> halt in mehrere kleine Dateien auf.

Klingt nach dem typischen Windows-Programmierer. Immer die schlechteste 
Lösung finden. :)
#4690313
Wo kommen denn die Daten her? Wenn du die in Excel einfügst, müssen die 
ja zuerst in irgendeiner Form vorliegen. Öffnest du z.B. eine CSV-Datei 
in Excel?
Also: Welche Dateiendung hat dein "Datensatz" aus dem OP?

In Python ist so eine Glättung mit Pandas einfach und flexibel machbar, 
ich habs angehängt. Pandas kann so ziemlich alles einlesen, was es an 
bekannten Datenformaten gibt. R kann das auch, aber damit kenne ich mich 
nicht aus.
Sollte die Quelldatei so groß sein, dass Python hier ins Stocken gerät, 
kann man die Berechnung auch noch in "Chunks" aufteilen. Aber dafür 
müsstest du etwas mehr Infos rauslassen.
Angehängte Dateien:
#4690527
Nop schrieb:
> Der Median gibt Dir stattdessen den Wert, unterhalb/oberhalb dessen 50%
> der Werte liegen. Es ist dabei egal, wie WEIT einzelne Ausreißer gehen.
> Der Nachteil ist, daß man dann seine letzten N Werte sortieren muß, für
> embedded empfehle ich dabei Shellsort oder Heapsort.

Der Nachteil ist vor allem, dass der Median mehr rauscht als der 
Mittelwert bei gleicher Reaktionszeit. Wenn es keinen guten Grund gibt 
den Median zu nehmen, ist der Mittelwert die bessere Wahl.
#4691997
Wenn nicht mehr Information da ist, bringt dir der beste Filter nix ... 
signifikant besser als Mittelwert kann der Filter nur dann sein, wenn 
das Rauschen bestimmte Eigenschaften hat, zum Beispiel bei bestimmten 
Frequenzen besonders stark ist.

Antwort schreiben

Eine eigene Frage? Dieser Thread ist über 10 Jahre alt. Stell sie in einem eigenen Thread – dort lesen mehr Leute mit, und sie wird öfter und schneller beantwortet.

Neuen Thread starten

Eine Lösung, Ergänzung oder Rückmeldung zu diesem Thread? Dann antworte hier.

Formatierung
  • [c]C-Code[/c]
  • [code]Code in anderen Sprachen, ASCII-Zeichnungen[/code]
  • [math]Formel in LaTeX-Syntax[/math]
  • [[Titel]] – Link zu einem Artikel
  • Verweis auf einen anderen Beitrag: Rechtsklick auf dessen Beitrags-ID (#8078628), „Adresse kopieren“, in den Text einfügen

Mehr zur Formatierung

Längeren Sourcecode als Anhang, nicht in den Text. JPG nur für Fotos und Scans; Zeichnungen und Screenshots als PNG oder GIF. Siehe Bildformate.

Schon registriert? Anmelden

Wird nicht angezeigt. Wir schicken dir einen Link; sobald du damit bestätigst, erscheint dein Beitrag.

Mit dem Abschicken legst du einen kostenlosen Account an und erkennst die Nutzungsbedingungen und die Datenschutzerklärung an.