ESP32 AI on the edge

[Anton (anton66)]

Hallo,
ich möchte "IA on the edge" nutzen. Ich habe oft gelesen, dass der PSRAM 
mindestens 4MB haben muss, nicht jede Speicherkarte funktioniert.
Ich hab ein Board mit seriell Wandler und Micro-USB-Anschluss. Laut 
Ausgabe hat mein Board 8MB PSRAM. Die Karten haben 16 bzw. 32GB.
Über WLAN ist der ESP32 erreichbar. Das Hauptmenü wird auch dargestellt. 
Irgendwelche Menüpunkte mit Kamerafunktionen kann man aufgerufen, es 
passiert aber nichts.
Im LOG steht sowas wie:

 [0d00h26m04s] 2024-05-01T18:47:11 <ERR> [POSTPROC] main: Raw: N77.1424, 
Value: , Status: Rate too high - Read: 77.1424 - Pre: 42.0134 - Rate: 
35.1290

Ist da die Bildrate der Kamera zuhoch?
Wie macht sich eine nicht funktionierende Karte bemerktbar?
Kann man den Aussagen des Logs bezüglich PSRAM vertrauen?

Gruss Anton

[Harald K. (kirnbichler)]

Wenn man einfach irgendeine Software installiert, die irgendwas machen 
soll, dann ist es nicht weiter verwunderlich, wenn dabei irgendwelche 
Fehlermeldungen auftreten. Aber dann kann man sich ja auf den 
exzellenten Support der Software verlassen, den irgendwer irgendwo auf 
einem Webserver irgendwann schon liefern wird.

[Andreas B. (andreas-ab)]

>Das Hauptmenü wird auch dargestellt. Irgendwelche Menüpunkte mit Kamerafunktionen 
kann man aufgerufen, es passiert aber nichts.

Ein Bild sagt mehr als tausend Worte, welche Funktionen können dann 
angezeigt werden? Es wäre auch für die potentiellen Helfer von Nutzen, 
wenn Du einen Link zum ai-on-the-edge Projekt angegeben hättest, oder?

Wie sieht denn z.B. bei Dir [Data]-->[Recognition] aus ?

>[0d00h26m04s] 2024-05-01T18:47:11 <ERR> [POSTPROC] main: Raw: N77.1424,
Value: , Status: Rate too high - Read: 77.1424 - Pre: 42.0134 - Rate: 
35.1290

Ich sehe das so, dass zwischen zwei Messungen der Wassserverbrauch sehr 
hoch ist. Der aktuelle Wert ist 77.1 qm der vorhergehende war 42.01 qm. 
Du hast also innerhalb eines Zeitintervals 35.1 qm Wasser verbraucht. 
Respekt!

Diese Meldung hab ich auch mal gesehen, mein "Round-Interval" steht auf 
6 min, und da musste ich auch den Wert anpassen damit z.B. das Füllen 
einer Badewanne ohne Fehlermeldung funktioniert.

[Anton (anton66)]

Andreas B. schrieb:
> Ein Bild sagt mehr als tausend Worte,
Danke für die schnelle Antwort. Ein Bild.
Die
Man kann aufrufen z.B. Backup, OTA-Update, Log-Viewer und Live-Stream.
Nichts passiert bei "Referenz-Image".

Andreas B. schrieb:
>>[0d00h26m04s] 2024-05-01T18:47:11 <ERR> [POSTPROC] main: Raw: N77.1424,
> Value: , Status: Rate too high - Read: 77.1424 - Pre: 42.0134 - Rate:
> 35.1290
Die Rate ist also nicht die Bildwiederholrate.

Meinen Wasserverbrauch zeigt es nicht an. Dafür bräuchte ich ein 
Referenz-Bild.
Bevor das Teil keine Bilder macht, brauche ich es doch nicht einbauen, 
oder?
Wo stellt man den Round-Parameter ein?

Gruss Anton

[Andreas B. (andreas-ab)]

Hhmm, es ist schwierig von der Ferne, die Ursache zu ermittlen.

1.) ja du benötigst erst mal eine stabile Bildaufnahme, damit du alles 
andere einstellen kannst. Insbesondere das Objektiv scharfstellen macht 
man besser auf dem Schreibtisch mit definiertem Zustand, und dann erst 
die weiteren Schritte.

2.) Der Round-Paramter wird in [Configuration] einstellt, aber das kommt 
quasi am Ende, wenn alles andere läuft.

Es ist etwas merkwürdig, weil du ja scheinbar Messwerte bekommst, die 
aber keinen Sinn machen. Für mich richt alles nach Bild verbessern, und 
die ROIs sauber einstellen.

Soweit ich mich erinnere, war die Installation aber Menü geführt und am 
Anfang war zuerst das Referenzbild, dann die ROIs und dann die Config. 
Für mich sieht es so aus als ob diese Schritte übersprungen wurden. Es 
gibt aber auch ein Lifestream Bild. Damit hab ich die Kamera scharf 
gestellt, und zwar so nah wie möglich ans Geschehen. Ich verstehe auch 
nicht warum alle diese merkwürdigen Halter per 3D Druck Halter 
ausdrucken, bei denen ist der Abstand mit 10cm doch viel zu groß. Die 
besten Bilder ohne lästigen Glanz hab ich mit ca. 6,5cm Abstand 
erreicht.

Vielleicht nochmals die Beschreibung lesen, und die Firmware nochmal 
flashen und von vorne anfangen.

Der Mitschrieb meiner Schritte von damals:

1.) aktuelle Firmware downloaden AI-on-the-edge-device__manual-setup__v15.2.4.zip
https://github.com/jomjol/AI-on-the-edge-device/releases/download/v15.2.4/AI-on-the-edge-device__manual-setup__v15.2.4.zip

2.) Zip Auspacken und SD-Card vorbereiten
- FAT32 formatieren 4GB
- 15.2.4.release\sd-card\wlan.ini  editieren
  ssid = "xxx"
  password = "xxx" 
- auf SD-Card kopieren 

3.) esp32-cam flashspeicher löschen
..\esptool-v4.5.1-win64\esptool.exe erase_flash

4.) esp32-cam flashspeicher uploaden 
..\esptool-v4.5.1-win64\esptool.exe write_flash 0x01000 bootloader.bin 0x08000 partitions.bin 0x10000 firmware.bin

5.) Ausrichten der Kamera 
- vorsichtig das Objektiv vom Kleber befreien. 
- das Objektiv am Schreibtisch schrafrstellen, z.B. Vorlage mit Text und Grafik
- exact 90° Schritte sind am besten
- 6,5cm sind ein guter Abstand, da bekommt man gute Bilder ohne störenden Glanz

6.) auf die Wasseruhr und den Rest erledigen
- Referenzbild 
- ROI einrichten 
- Config anpassen
- Testen

[Rainer W. (rawi)]

Andreas B. schrieb:
> Die besten Bilder ohne lästigen Glanz hab ich mit ca. 6,5cm Abstand
> erreicht.

Glanz hat etwas mit Reflektionen zu tun, also mit Lichtquellen in der 
Umgebung und der Ausrichtung gerichtet reflektierender Oberflächen. Der 
Abstand  ist nicht der Grund.

[Anton (anton66)]

Danke an Alle
Andreas B. schrieb:
> Vielleicht nochmals die Beschreibung lesen, und die Firmware nochmal
> flashen und von vorne anfangen.
Hab ich schon mehrfach.
Ich bin von Stromversorgung vom Laptop auf ein externes Netzteil 
umgestiegen.
Da kommt einmal, nach einem Neustart ein Statusbild unter "Overview". 
Dann aber unter "Reference Image / Create new Reference" nicht.
Unter "Live Stream" entsteht auch ein Bild bzw. Stream.
Zur Zeit macht das Dingens auch alle 5 Minuten ein Bild. Die LED geht 
jedenfalls an.
Ich werde mal eine ältere Software, z.Z. nutze ich 15.7.0, suchen und 
installieren.
Gleichzeitig warte ich auf ein neues ESP32-Modul.
VG Anton

[Andreas B. (andreas-ab)]

Du hast Recht, der Abstand verhindert den Glanz nicht. Ich ergänze den 
Satz um:

> > Die besten Bilder ohne lästigen Glanz **an den relevanten Stellen** hab ich 
mit ca. 6,5cm Abstand
> erreicht.

Die Idee bei dem https://github.com/jomjol/AI-on-the-edge-device Projekt 
ist ja, dass man ein ESP32-Cam Board ohne große Modifikation verwenden 
kann, d.h. lediglich das Objektiv vom Kleber befreien und den Fokus 
einstellen aber keinen großen Aufwand betreiben um Glanz-Effekte zu 
beseitigen (z.B. die Beleuchtung auf 45° ausrichten und Pol-Filter 
einsetzen oder ähnliches)

[Andreas B. (andreas-ab)]

Ja das ist seltsam. So wie ich das sehe, sollte das PSRAM passen, 
ansonsten müsste eine Meldung im seriellen Log zu sehen sein und laut 
Doku blinkt der ESP32 dann um auf das Problem hinzuweisen. Da du auch 
schon Bilder gesehen hast, müsste die Kamera an sich doch laufen.

Vielleicht ist es doch die SD-Card. Einerseits ist ja die ganze HTML 
Mimik drauf. Die Oberfläche wird angezeigt, d.h. der ESP32 sollte lesend 
also auch auf die SD-Card zugreifen können.

Andererseits wird unter anderem genau dieses Referenzbild dort abgelegt. 
Vielleicht klappt der Zugriff nicht vollständig. In der Doku steht was 
davon dass die maximal 16GB groß sein soll, und dass die Formatierung 
vorgeschrieben ist.

>Following setting are necessary for formatting the SD-card: SINGLE PARTITION, 
MBR, FAT32 - 32K. NOT exFAT

Was erscheint bei Dir unter [Settings]-->[Alignment]-->[Referenz-Image] 
?

Also in etwa sowas wie hier?

[Anton (anton66)]

Hallo,
ich schreibe mal den neuesten Stand:
Ich habe den ESP mit dem Tool von Espressiv und drei einzelnen Dateien 
geflasht. Nicht mit dem Tool über Browser.
Die SD-Card hat 8Gb und wurde "nicht" mit Schnellformatierung 
formatiert.
Die SD-Karte ist die Alte. Neu ist nur der Flash-Vorgang.
Jetzt scheint alles zu funktionieren. Ich kann ein Referenz-Bild machen. 
Das ist die Grundlage. Alles funktioniert auch schneller.
Danke an Alle.
Gruss Anton

[Andreas B. (andreas-ab)]

Na dann. Ja ich erinnere mich, dass ich das Board auch lokal und nicht 
über die Website geflashed hab.

Noch ein paar Tips:

- so nah wie möglich ran, also z.B. 6cm, dann hast du eine bessere 
Auflösung und der Glanz kann einfacher an unschädliche Stellen geschoben 
werden. Ich glaube die ganzen 3D Gehäuse haben einen ungünstigen Abstand 
von 10 cm. Auf die LED hab ich Butterbrotpapier geklebt, das hilft 
zusätzlich.

- Den Arbeitsabstand und die Schärfe, sprich das Gefummel mit dem 
Objektiv,  hab ich am Schreibtisch gemacht, das geht einfacher als im 
Keller.
- ich hab ein einfaches Gehäuse, zwei Holzbrettchen und ein Magnet 
verwendet. (siehe Anhang) Damit konnte ich die Kamera auf die gewünschte 
Höhe und Glanz-technisch optimal positionieren, d.h. außerhalb der ROIs. 
Außerdem konnte ich somit die Ausrichtung auch ganz exakt auf 270° 
einstellen. 90° Drehungen sind schneller und zusätzlich wird das Bild 
beim Drehen nicht verschlechtert. Das wirkt sich positiv auf die 
Erkennung aus, und wie ich beobachtet habe beginnt das schon bei der 
Lokalisierung der Anker-Regionen und insbesondere beim anschließenden 
Ausschneiden der ROIs. Wenn das Bild mit einem krummen Wert gedreht 
werden muss, dann zappeln die Anker-Regionen und die ROIs viel mehr als 
beim Drehen um 90° Schritte. Mein Plan war 0°, dann braucht gar nicht 
gedreht werden, aber da hat bei mir das Gehäuse an einer Ecke geklemmt.

- die ROIs sorgfältig einstellen. In der Regel musst du nochmals 
nachjustieren, denn erst mit der Zeit sieht man ob es passt, oder ob es 
noch Probleme z.B. beim Übergang der Ziffern gibt.

- aber wenns mal läuft, das rennt das Ding. Ich habs schon über ein Jahr 
in Betrieb und nie einen Reboot oder ähnliches benötigt.