ESP32 to SD-Card Datalogging Problem

[hudlbergaJoe (Gast)]

Hallo Community,

ich würde gerne verschiedene Sensordaten (Temperatur, Druck, 
Feuchtigkeit, etc.) mit einer ESP32 auf eine micro-SD Karte loggen.

Dazu verwende ich eine Adafruit HUZZAH32 
(https://www.adafruit.com/product/3405) und ein breakout board für die 
SD (https://www.adafruit.com/product/254) mit der Arduino IDE.

Aktuell ist es nicht möglich die Daten für eine längere Zeit bzw. viele 
Daten in kurzer Zeit in eine .csv zu speichern. Der letzte Code lässt 
sich ohne Probleme kompilieren und lässt die ESP via SPI mit der 
SD-Karte kommunizieren. Der Code ist aus einem Tutorial und wurde von 
mir nur etwas modifiziert, um zunächst Konstanten als Strings 
abzuspeichern (noch keine Messung, aktuell sind nur ESP und SD-Board 
verbunden. (Beispiel Tutorial: 
https://iotdesignpro.com/projects/logging-temperature-and-humidity-data-on-sd-card-using-esp32

#include "FS.h"
#include "SD.h"
#include "SPI.h"

float Temperature;
float Humidity;
String formattedDate;
String dayStamp;
String timeStamp;
String dataMessage;

unsigned int count = 0;
#define SD_CS 33

void setup() {
  Serial.begin(115200);

  pinMode(13, INPUT_PULLUP);  //manuell switch

  SD.begin(SD_CS);  
 
  uint8_t cardType = SD.cardType();

  File file = SD.open("/data.csv");
  if(!file) {
    writeFile(SD, "/data.csv", "Date; Time; Temperature; Humidity \r\n");
  }
  file.close();
}

void loop() {
    if(digitalRead(13) == HIGH){
    count = count + 1;
    Humidity = 44.2;
    Temperature = 24.2;
    logSDCard();
  }
}


void logSDCard() {
  dataMessage = String(count) + ";" + String(Temperature) + ";" + String(Humidity);
  for(int i=0;i <= 20; i++){
  dataMessage = dataMessage + ";" + String(Temperature) + ";" + String(Humidity);
  dataMessage = dataMessage + ";" + String(Temperature) + ";" + String(Humidity);
  dataMessage = dataMessage + ";" + String(Temperature) + ";" + String(Humidity);
  dataMessage = dataMessage + ";" + String(Temperature) + ";" + String(Humidity);
  dataMessage = dataMessage + ";" + String(Temperature) + ";" + String(Humidity);
  dataMessage = dataMessage + ";" + String(Temperature) + ";" + String(Humidity);
  dataMessage = dataMessage + ";" + String(Temperature) + ";" + String(Humidity);
  dataMessage = dataMessage + ";" + String(Temperature) + ";" + String(Humidity);
  dataMessage = dataMessage + ";" + String(Temperature) + ";" + String(Humidity);
  dataMessage = dataMessage + ";" + String(Temperature) + ";" + String(Humidity);
  dataMessage = dataMessage + ";" + String(Temperature) + ";" + String(Humidity);
  dataMessage = dataMessage + ";" + String(Temperature) + ";" + String(Humidity)
  dataMessage = dataMessage + ";" + String(Temperature) + ";" + String(Humidity) + "\r\n";
  }
  Serial.print("Save data: ");
  Serial.println(dataMessage);
  appendFile(SD, "/data.csv", dataMessage.c_str());
}

// Write to the SD card (DON'T MODIFY THIS FUNCTION)
void writeFile(fs::FS &fs, const char * path, const char * message) {
  Serial.printf("Writing file: %s\n", path);
  File file = fs.open(path, FILE_WRITE);
  if(!file) {
    Serial.println("Failed to open file for writing");
    return;
  }
  if(file.print(message)) {
    Serial.println("File written");
  } else {
    Serial.println("Write failed");
  }
  file.close();
}
// Append data to the SD card (DON'T MODIFY THIS FUNCTION)
void appendFile(fs::FS &fs, const char * path, const char * message) {
  Serial.printf("Appending to file: %s\n", path);
  File file = fs.open(path, FILE_APPEND);
  if(!file) {
    Serial.println("Failed to open file for appending");
    return;
  }
  if(file.print(message)) {
    Serial.println("Message appended");
  } else {
    Serial.println("Append failed");
  }
  file.close();
}

PIN 13 ist mit einem Schalter verbunden, mit dem ich das Loggen starten 
bzw. stoppen kann.

Wenn ich den Schalter umlege und 60 Sekunden warte, ist die .csv 471 KB 
groß, nach weiteren 20 Sekunden 642 KB, nach weitern 20 Sekunden 816 KB, 
und nach weitern 20 Sekunden nur noch 110 KB (alte Zeilen überschrieben 
bzw. gelöscht).

Wenn ich hingegen das Programm 80 Sekunden ununterbrochen laufen lasse, 
dann sind die Daten auf der SD korrupt und lassen sich am PC nicht mehr 
lesen.

Egal was ich versuche (i variieren, delay einfügen), es ist mir nicht 
möglich über längere Zeit bzw. viele Daten auf der SD zu speichern 
(Dateigröße 1 MB noch nie erreicht).

Hat jemand von euch eine ähnliche Erfahrung gemacht, oder Ideen an was 
es liegen könnte?
Vielen Dank schon mal für eure Zeit!

Liebe Grüße

[John P. (brushlesspower)]

welches Filesystem ist auf der SD Karte?
kannst du überhaupt eine lesbare datei mit hello World schreiben?


Habe hier einen ESP32 mit SD Karte über SPI als datenlogger.
geht einwandfrei.

[Johannes K. (hudlbergajoe)]

Wurde mit FAT32 formatiert.
Ja kann ich, die Beispiele aus 
https://github.com/espressif/arduino-esp32/tree/master/libraries/SD 
funktionieren auch, nur wenn ich diese anpasse und über etwas längere 
Zeit oder viele Daten speichern will, dann entstehen erst korrupte 
Dateien, bis schließlich der Inhalt der SD-Karte komplett korrupt ist.

Funktioniert der obige Code von mir bei euch über längere Zeit?

[John P. (brushlesspower)]

Da passe es stück für stück an und gucke ab wann der Fehler auftritt

Meine Vermutung ist, dass dataMessage zu lang ist

[Johannes K. (hudlbergajoe)]

Vielen Dank!

Für mein Vorhaben muss ich entweder viele Daten selten speichern, oder 
weniger Daten öfter (Beschleunigungsdaten mit 100 Hz).
Wie könnte ich es alternativ machen? Ich wollte es vermeiden die Daten 
in zu kurzen Zeitabständen abzuspeichern.

[Bernhard S. (b_spitzer)]

mit file.print(message) schreibst du zunächst in den internen Puffer der 
SD-Karte. Wenn da ein Datenblock voll ist, schreibt das die Karte 
irgendwann weg. Du kannst mal mitzählen und nach etwas über 500 Bytes 
mit file.flush() den Schreibvorgang auf die Karte erzwingen.