in esp8266 Ausreißer eliminieren

ve.direct Schnittstelle

Das scheint nach den Konformitätserklärungen eine RS232 oder RS485 zu sein.

ich lese mit einem esp8266 die ve.direct Schnittstelle eines Victron Wechselrichters aus.

Wie machst du das? Zeig das verwendete Programm oder poste einen Link auf die Sourcen.

Komischer weise werden immer wieder Werte "0V" eingelesen bzw. gemeldet.

Dann zeig Mal einen Verlauf der Werte der das Problem zeigt. Prosa ist um ein Signal zu beschreiben meist schlecht.

Ich möchte gerne diese Ausreißer direkt im esp8266 weg filtern. die sollen nicht am Home assistant weiter gegeben werden.

Wieso das? Deine Home Assist Instanz hat vermutlich tausend Mal mehr Rechenpower und anscheinend kann man von Haus aus filtern: https://www.home-assistant.io/integrations/filter/

Gibt es wo eine Befehlsliste, was ich im ESP alles programmieren kann ?

Die Frage verstehe ich nicht. Du kannst alles programmieren was du willst. Durch die Frage vermute ich allerdings dass du selbst noch nicht großartig selbst programmiert hast. Du musst halt den seitherigen Code anpassen und einen Filter an geeigneter Stelle programmieren.

Eventuell paar programmierzeilen, wie ich den Code in ESPHome ergänzen muss.

Ah okay ESPHome. Hätte man gleich schreiben können.

Ich vermute, dass darin der Grund liegt, dass es ausreisser gibt.

Das glaube ich nicht.

Auch habe ich eine 15m Leitung vom Wechselrichter zum esp8266, da am Wechselrichter kein wlan vorhanden ist.

Ist sowohl bei RS485 als auch bei RS232 kein Problem wenn die Verkabelung OK ist. Mach Mal 2-3 Fotos davon.

N. M. (mani) 09.10.2023 19:22 #7512325

Lesenswert?

•

▲
▼

N. M. schrieb:

Ah okay ESPHome.

Scheinbar gibt es einen einfachen Median Filter. Der sollte den Spike einfach entfernen: https://esphome.io/components/sensor/index.html#median

Jochen B. (kleiner_schelm) OP 09.10.2023 21:26 #7512388

Lesenswert?

•

▲
▼

Hallo, vielen Dank für Eure Hilfe. Hier ein Bild, was da an Daten ankommt. Man sieht schön, dass da immer wieder Null-Werte dabei sind.

Hier ein auszug des Code vom ESP8266:

external_components:

  - source: github://KinDR007/VictronMPPT-ESPHOME@main

  id: uart3

  tx_pin: D8  # Not used! The communication is read-only

  rx_pin: D7

  baud_rate: 19200

  rx_buffer_size: 256

victron:

  id: victron0

  uart_id: uart3

sensor:

  - platform: homeassistant

    name: "abfrage_intervall"  

    device_class: duration

    entity_id: input_number.wert_vz_ferraris

    unit_of_measurement: "s"

  - platform: victron

    victron_id: victron0

    panel_voltage:

      name: "Panel voltage"

      filters:

      - throttle: 30s

    battery_voltage:

      name: "Battery voltage"

      filters:

        - min:

            window_size: 50

            send_every: 4

            send_first_at: 3

        - clamp:

            min_value: 44

            max_value: 60

      #  - throttle:  1s

    battery_current:

      name: "Battery current"

      filters:

        - clamp:

            min_value: -50

            max_value: 50

        - throttle:  5s

    yield_today:

      name: "Leistung Tag"

      filters:

      - throttle: 30s

    max_power_yesterday:

      name: "max_power_yesterday" 

      filters:

      - throttle: 30s

    max_power_today:

      name: "max_power_today" 

      filters:

      - throttle: 30s

    yield_total:

      name: "yield_total" 

      filters:

      - throttle: 30s

wobei battery_voltage und battery_current schon code experiment ist. Bei der Grafik war da der gleiche Code wie bei den anderen Parmatern. Bild DC2 ist mit dem experment-Code. Nicht zielführend, leider. Was muss ich programmieren, um die Null-ausreiser weg zu bekommen ? Ich möchte das gerne auf der esp-Seite machen, in Home Assistant wird das alles zu viel. Da gibt es schon einiges an Code.

Ich habe vor 20 Jahren beruflich SPS Programmiert. Dann net mehr, dafür aber viel in Visual basic. Hier bin ich neu am start, muss mich da erst rein fuchsen. Am liebsten wäre mir ne "if then" Abfrage, wenn der Wert < 40 ist wird der Wert des Merker genommen, also ein Wert, der kurz davor korrekt ausgelesen wurde. soweit ich das gelesen habe, rechnen die Filter nen Mittelwert aus den empfangenen Werten. Das kann ich so nicht machen, das verfälscht zu arg.

Angehängte Dateien:

Grafik-DC.png (24 KB)
Grafik-DC2.png (18 KB)

Jochen B. (kleiner_schelm) OP 09.10.2023 22:33 #7512420

Lesenswert?

•

▲
▼

Ich hab jetzt den Median Filter programmiert. Schein das Problem zu beheben. Vielen Dank.

Chris K. (kathe) 09.10.2023 23:05 #7512438

Lesenswert?

•

▲
▼

esp8266 die ve.direct Schnittstelle eines Victron Wechselrichters aus. Es wird unter anderem der Spannungswert des Akku ausgelesen. Der Akkuwert liegt immer zwischen 44 V und 57 V. Komischer weise werden immer wieder Werte "0V" eingelesen bzw. gemeldet.

Log mal am ESP mit was der von dem Victron empfängt in HA weisst du was er sendet. Vergleichen ....

Sind die Fehler im Empfang vom ESP von dem Victron oder bei der Übertragung zu HA?

Frägst du den Victron zu schnell ab, oder liegts am ESP ?? Warum gehen alle den "konfortablen Weg" bevor eine genaue Analyse des Problems angegangen wird.

Jochen B. (kleiner_schelm) OP 10.10.2023 11:32 #7512605

Lesenswert?

•

▲
▼

Hallo,

mit dem Median Filter geht es, die Null-Werte werden ausgegrenzt.

hier ein log vom espHome:

[11:17:27][W][component:204]: Component esphome.coroutine took a long time for an operation (0.07 s).

[11:17:27][W][component:205]: Components should block for at most 20-30ms.

[11:17:28][D][text_sensor:064]: '${name} charging mode': Sending state 'Bulk'

[11:17:28][D][text_sensor:064]: '${name} error': Sending state 'No error'

[11:17:28][D][sensor:093]: 'yield_total': Sending state 97900.00000 Wh with 0 decimals of accuracy

[11:17:28][D][sensor:093]: 'day_number': Sending state 19.00000  with 0 decimals of accuracy

[11:17:28][W][component:204]: Component esphome.coroutine took a long time for an operation (0.08 s).

[11:17:28][W][component:205]: Components should block for at most 20-30ms.

[11:17:29][D][text_sensor:064]: '${name} charging mode': Sending state 'Bulk'

[11:17:29][D][text_sensor:064]: '${name} error': Sending state 'No error'

[11:17:29][D][sensor:093]: 'Battery voltage': Sending state 52.86000 V with 3 decimals of accuracy

[11:17:29][W][component:204]: Component esphome.coroutine took a long time for an operation (0.10 s).

[11:17:29][W][component:205]: Components should block for at most 20-30ms.

[11:17:30][D][text_sensor:064]: '${name} charging mode': Sending state 'Bulk'

[11:17:30][D][text_sensor:064]: '${name} error': Sending state 'No error'

[11:17:30][D][sensor:093]: 'yield_yesterday': Sending state 5300.00000 Wh with 0 decimals of accuracy

[11:17:30][D][victron:1026]: Unhandled property: H2\xa6H\x9a\xca\xca^HjEM%19

[11:17:30][W][component:204]: Component esphome.coroutine took a long time for an operation (0.08 s).

[11:17:30][W][component:205]: Components should block for at most 20-30ms.

[11:17:31][D][text_sensor:064]: '${name} charging mode': Sending state 'Bulk'

[11:17:31][D][text_sensor:064]: '${name} error': Sending state 'No error'

[11:17:31][D][sensor:093]: 'max_power_yesterday': Sending state 2399.00000 W with 0 decimals of accuracy

[11:17:31][D][sensor:093]: 'Battery current': Sending state 16.40000 A with 3 decimals of accuracy

[11:17:31][W][component:204]: Component esphome.coroutine took a long time for an operation (0.08 s).

[11:17:31][W][component:205]: Components should block for at most 20-30ms.

[11:17:32][D][text_sensor:064]: '${name} charging mode': Sending state 'Bulk'

[11:17:32][D][text_sensor:064]: '${name} error': Sending state 'No error'

[11:17:32][W][component:204]: Component esphome.coroutine took a long time for an operation (0.07 s).

[11:17:32][W][component:205]: Components should block for at most 20-30ms.

[11:17:33][D][text_sensor:064]: '${name} charging mode': Sending state 'Bulk'

[11:17:33][D][text_sensor:064]: '${name} error': Sending state 'No error'

[11:17:33][D][sensor:093]: 'Battery voltage': Sending state 52.86000 V with 3 decimals of accuracy

[11:17:33][W][component:204]: Component esphome.coroutine took a long time for an operation (0.07 s).

[11:17:33][W][component:205]: Components should block for at most 20-30ms.

[11:17:34][D][text_sensor:064]: '${name} charging mode': Sending state 'Bulk'

[11:17:34][D][text_sensor:064]: '${name} error': Sending state 'No error'

[11:17:34][W][component:204]: Component esphome.coroutine took a long time for an operation (0.10 s).

[11:17:34][W][component:205]: Components should block for at most 20-30ms.

[11:17:35][D][text_sensor:064]: '${name} charging mode': Sending state 'Bulk'

[11:17:35][D][text_sensor:064]: '${name} error': Sending state 'No error'

[11:17:35][W][component:204]: Component esphome.coroutine took a long time for an operation (0.13 s).

[11:17:36][W][component:205]: Components should block for at most 20-30ms.

[11:17:36][D][text_sensor:064]: '${name} charging mode': Sending state 'Bulk'

[11:17:36][D][text_sensor:064]: '${name} error': Sending state 'No error'

[11:17:36][D][sensor:093]: 'Battery current': Sending state 16.40000 A with 3 decimals of accuracy

[11:17:36][W][component:204]: Component esphome.coroutine took a long time for an operation (0.11 s).

[11:17:36][W][component:205]: Components should block for at most 20-30ms.

[11:17:37][D][text_sensor:064]: '${name} charging mode': Sending state 'Bulk'

[11:17:38][D][text_sensor:064]: '${name} error': Sending state 'No error'

[11:17:38][W][component:204]: Component esphome.coroutine took a long time for an operation (0.09 s).

[11:17:38][W][component:205]: Components should block for at most 20-30ms.

[11:17:39][D][text_sensor:064]: '${name} charging mode': Sending state 'Bulk'

[11:17:39][D][text_sensor:064]: '${name} error': Sending state 'No error'

[11:17:39][D][sensor:093]: 'Battery voltage': Sending state 52.86000 V with 3 decimals of accuracy

[11:17:39][W][component:204]: Component esphome.coroutine took a long time for an operation (0.11 s).

[11:17:39][W][component:205]: Components should block for at most 20-30ms.

[11:17:39][W][victron:093]: Last transmission too long ago

[11:17:40][D][text_sensor:064]: '${name} charging mode': Sending state 'Bulk'

[11:17:40][D][text_sensor:064]: '${name} error': Sending state 'No error'

[11:17:40][W][component:204]: Component esphome.coroutine took a long time for an operation (0.08 s).

[11:17:40][W][component:205]: Components should block for at most 20-30ms.

[11:17:41][D][text_sensor:064]: '${name} charging mode': Sending state 'Bulk'

[11:17:41][D][text_sensor:064]: '${name} error': Sending state 'No error'

[11:17:41][W][component:204]: Component esphome.coroutine took a long time for an operation (0.12 s).

[11:17:41][W][component:205]: Components should block for at most 20-30ms.

[11:17:42][D][text_sensor:064]: '${name} charging mode': Sending state 'Bulk'

[11:17:42][D][text_sensor:064]: '${name} error': Sending state 'No error'

[11:17:42][D][sensor:093]: 'Battery current': Sending state 16.30000 A with 3 decimals of accuracy

[11:17:42][D][sensor:093]: 'panel_power': Sending state 998.00000 W with 0 decimals of accuracy

[11:17:42][W][component:204]: Component esphome.coroutine took a long time for an operation (0.08 s).

[11:17:42][W][component:205]: Components should block for at most 20-30ms.

[11:17:43][D][text_sensor:064]: '${name} charging mode': Sending state 'Bulk'

[11:17:43][D][text_sensor:064]: '${name} error': Sending state 'No error'

[11:17:43][D][victron:1026]: Unhandled property: )\xa6J1043

ich glaube, dass das an der Hardware des Victron liegt. Ich habe da Bleiakku dran. Dieser Wechselrichter ist vergleichsweise "neu" entwickelt. Gut, die Komponenten mit der der Akku geladen wird, stammt von ausgereifen älteren Geräten. Aber am ende wird doch auch immer an der Software was gedreht. Ich glaube mich erinnern zu können, dass ich im log vom espHome auch schon Null-Werte gesehen habe, dass also der Victron diese Werte schickt. wobei ich nicht wusste, ob das nicht von dem langen Kabel kommt, das ja auch direkt mit 230V AC Kabel im Kabelkanal liegt. Da könnte auch was durch EMV kommen. Das kleine Kabel ist aber geschirmt und ich habe eine Seite des Schirms auf Erde gelegt. Es geht jetzt ja, alles gut. Bevor ich hier angefragt habe, habe ich schon einiges gemacht, um den Fehler selbst beheben zu können. Unter anderem auch die Zeit der Abfragen im esp8266 geändert. Da nur der Wert DC Spannung rum zickt, zeigt das auch, dass es net an der Verbindung bzw. EMV liegen kann, denn dann müstten ja alle Werte "spinnen"

Rainer W. (rawi) 10.10.2023 13:04 #7512708

Lesenswert?

•

▲
▼

soweit ich das gelesen habe, rechnen die Filter nen Mittelwert aus den empfangenen Werten.

Das ist der falsche Weg, wenn es um Ausreißer geht. Eine Mittelwertrechnung verschmiert die Peaks lediglich über mehrere Werte.

Da könnte auch was durch EMV kommen.

EMV ist bestimmt nicht Schuld an irgendwelchen Störungen. Elektromagnetische Verträglichkeit sorgt ganz im Gegenteil dafür, dass trotz irgendwelcher äußeren Einflüsse die Daten heil übertragen werden.

Andreas B. (bitverdreher) 10.10.2023 13:08 #7512711

Lesenswert?

•

▲
▼

Beim ESP sollte man waehrend der ADC Messungen das WiFi ausschalten. Ist ein bekanntes Probelm bei diesen Dingern.

N. M. (mani) 10.10.2023 13:14 #7512717

Lesenswert?

•

▲
▼

Das ist der falsche Weg, wenn es um Ausreißer geht. Eine Mittelwertrechnung verschmiert die Peaks lediglich über mehrere Werte.

Deshalb der Vorschlag mit dem Median. Da hat er das Problem nicht. Bei nur wenigen Werten ist der Aufwand was Speicher und Rechenzeit angeht auch vertretbar.

EMV ist bestimmt nicht Schuld an irgendwelchen Störungen. Elektromagnetische Verträglichkeit sorgt ganz im Gegenteil dafür, dass trotz irgendwelcher äußeren Einflüsse die Daten heil übertragen werden.

Ich vermute auch eher dass ESPHome ab und zu evtl korrupte Daten sieht (vllt CRC Fehler o.ä.) und dann die Werte abnullt.

Andreas B. schrieb:

Beim ESP sollte man waehrend der ADC Messungen das WiFi ausschalten.

Er nutzt doch eine digitale Schnittstelle (siehe oben).

Ben B. (stromkraft) (Firma: Funkenflug Industries) 10.10.2023 14:04 #7512746

Lesenswert?

•

▲
▼

Beim ESP sollte man den ADC erst gar nicht benutzen. Mit einem Zufallszahlengenerator erreicht man die gleiche Genauigkeit.

Jochen B. (kleiner_schelm) OP 10.10.2023 18:52 #7512963

Lesenswert?

•

▲
▼

Danke für die Hilfe. Es geht ja jetzt mit dem Median Filter. Es gibt doch bei den anderen Parameterwerten ab und an auch nen falschen Wert. Ich habe deshalb ziemlich überall den Filter programmiert.

Rainer W. (rawi) 12.10.2023 06:25 #7513845

Lesenswert?

•

▲
▼

N. M. schrieb:

Andreas B. schrieb:

Beim ESP sollte man waehrend der ADC Messungen das WiFi ausschalten.

Er nutzt doch eine digitale Schnittstelle (siehe oben).

Was genutzt wird, spielt dabei doch gar keine Rolle. Sobald der WLAN-Block des ESP sendet, stört er, egal ob er Nutzerdaten sendet oder nur sagt "hier bin ich". Durch Abschalten des WLANs lässt sich zuverlässig verhindern, dass der Block mit seiner Sendetätigkeit im wahrsten Sinne des Wortes dazwischen funkt.

N. M. (mani) 12.10.2023 22:58 #7514496

Lesenswert?

•

▲
▼

Was genutzt wird, spielt dabei doch gar keine Rolle.

Wenn der TO keinen ADC verwendet gebt ihr im den Rat das WLAN abzuschalten weil das die Qualität der ADC Messung verbessert. Sorry, das ist Bullshit! Was hat das mit dem Problem des TO zu tun? Er nutzt den ESP als Gateway zwischen seinem Wechselrichter (ve.direct/Rs232/485) und seinem Heimnetz (hier über WLAN).

Sobald der WLAN-Block des ESP sendet, stört er, egal ob er Nutzerdaten sendet oder nur sagt "hier bin ich".

Du willst mir also weiß machen dass die paar mW der WLAN Endstufe eine RS232/485 Schnittstelle stören? Denn genau darum geht es hier. In der Industrie hab ich hundert Meter Kabel parallel zu einer Motorleitung über die mehrere kW gehen und die RS485 verliert kein einziges Paket! Und das 24/7!

Durch Abschalten des WLANs lässt sich zuverlässig verhindern, dass der Block mit seiner Sendetätigkeit im wahrsten Sinne des Wortes dazwischen funkt.

Wenn du meinst. Für mich ist das praxisfern. Eine vernünftige digitale Übertragung störst du mir denn bisschen WLAN nicht. Zumindest nicht wenn du ein vernünftiges PCB hast.

Andreas B. (bitverdreher) 13.10.2023 14:17 #7514842

Lesenswert?

•

▲
▼

N. M. schrieb:

Andreas B. schrieb:

Beim ESP sollte man waehrend der ADC Messungen das WiFi ausschalten.

Er nutzt doch eine digitale Schnittstelle (siehe oben).

Stimmt, habe ich ueberlesen. Nehme alles zurueck. Dann wuerde ich aber trotzdem mal eruieren woher diese Streuungen in der Messung kommmen, anstatt an den Symptomen herumzuflicken.

N. M. (mani) 13.10.2023 14:44 #7514851

Lesenswert?

•

▲
▼

Andreas B. schrieb:

Dann wuerde ich aber trotzdem mal eruieren woher diese Streuungen in der Messung kommmen, anstatt an den Symptomen herumzuflicken.

Ja, da gebe ich dir Recht. Hätte ich persönlich auch so gemacht. Bilder vom Aufbau hat er trotz Nachfragen nicht geschickt. Wahrscheinlich so wie immer nichts geschirmt noch verdrillt.

Da er schreibt dass mehrere Werte ausfallen gehe ich eher von einem Übertragungsproblem auf der digitalen Schnittstelle aus. Wahrscheinlich gehen Frames verloren und ESPHome erfindet dann keine passenden Ersatzwerte. Könnte man bestimmt im Code nachlesen wenn Opensource, habe ich aber keine Lust dazu.

Ansonsten wäre es ja merkwürdig dass die Werte alle null sind. Dann müsste man auch Mal andere Werte sehen oder Ausreißer nach oben...

Edit: Typo

Rainer W. (rawi) 13.10.2023 16:53 #7514937

Lesenswert?

•

▲
▼

Andreas B. schrieb:

Dann wuerde ich aber trotzdem mal eruieren woher diese Streuungen in der Messung kommmen, anstatt an den Symptomen herumzuflicken.

Wenn da wirklich an Stelle sinnvoller Messwerte irgendwelche "0V"-Werte auftauchen, hat das nichts mit Streuung von Messwerten zu tun. Da wird es höchste Zeit, direkt auf der seriellen Schnittstelle zu gucken, was der Victron Wechselrichters wirklich von sich gibt. Falls man dann zu der Erkenntnis kommt, dass die Daten mit den unsinnigen "0V" so vom Victron WR kommen, wird man nicht umhin kommen, sie heraus zu filtern, sonst ist die Software auf dem ESP schuld.