Arduino-Demo mit TensorFlow Lite und Bluetooth Web API

[Tam H. (Firma: Tamoggemon Holding k.s.) (tamhanna)]

Im Rahmen der Google I/O stellt Google ein neues Beispielprojekt zur Verfügung, das einen Arduino Nano BLE mit Chrome verbindet und die Mikrocontroller-Variante von TensorFlow Lite zur Gestenerkennung verwendet.

von Tam HANNA

Worum geht es hier?

Die Erstellung der AI-Modelle macht bei Embedded-Systemen mit Funktionen der künstlichen Intelligenz oft den Gutteil des Aufwands aus. Mit TensorFlow Lite for Microcontrollers (siehe auch https://www.tensorflow.org/lite/microcontrollers) bietet Google seit einiger Zeit eine Variante des hauseigenen AI-Frameworks an, die für 32bit-Mikrocontroller vorgesehen ist. Für AI-Modelle zuständige Codierer (Verwendungsbezeichnung meist Data Scientist) können so einen Gutteil ihrer Kenntnisse auch am Mikrocontroller einsetzen.

Lösung in mehreren Teilen

Das vorliegende Projektbeispiel enthält einerseits eine im Browser lebende Training-Applikation, die (siehe Screenshot weiter oben) per Bluetooth Web API Kontakt zum Arduino Nano aufnimmt. Die Web Bluetooth API ist dabei eine vor Allem in Chrome implementierte API, die Web-Applikationen den Zugriff auf Bluetooth und Bluetooth LE-Geräte ermöglicht.

Bildquelle ist hier der allgemein empfehlenswerte Dienst caniuse, der – siehe auch https://caniuse.com/web-bluetooth – darüber informiert, in welchen Browsern bestimmte APIs zur Verfügung stehen

Die Web-Applikation beschränkt sich dabei auf das Entgegennehmen und Weiterleiten der Informationen. Der Gutteil der AI-Aufgaben findet sich in einer Pythondatei (tiny-motion-trainer/blob/main/backend/main.py), die dank des Flask-Frameworks REST-Anfragen verarbeiten kann:

 
app = Flask(__name__)
app.config['UPLOAD_FOLDER'] = 'uploads/'
CORS(app, resources={r"/*": {"origins": "*"}})

Interessant ist auch der für die Datenübertragung vorgesehene Algorithmus: die Kommunikation erfolgt ausschließlich über BLE, das Protokoll sieht keine Unterstützung für die im normalen Bluetooth vorgesehenen OBEX-Übertragungen vor. Google ”emuliert” stattdessen unter Nutzung zweier Charakteristiken ein hauseigenes Übertragunssystem, das sich auch in eigenen Anwendungen nutzen lassen sollte:

#include "ble_file_transfer.h"

Für das eigentliche Vorhalten der Modelldaten stellt Google eine weitere dedizierte Klasse zur Verfügung, die im Rahmen des Empfangs eines neuen Modells nach folgendem Schema aktualisiert wird:

inline void updateFileTransfer() {
  ble_file_transfer::updateBLEFileTransfer();
  if (newModelFileData != nullptr)
  {
    Serial.println("reloading model");
    model_tester::loadModel(newModelFileData);
    . . .
    setState(INFERENCE);
  }
}

Die eigentliche Datenweitergabe erfolgt im Rahmen der Funktion updateIMU, die bei Aktualisierungen die update()-Funktion aufruft:

inline void updateIMU() { . . .

  while(data_provider::dataAvailable()){
    data_provider::update(buffer, useMagnetometer);
 
    if(currentState == INFERENCE || currentState == INFERENCE_AND_DATA_PROVIDER){
      if(model_tester::isModelLoaded){
        model_tester::update(buffer);  
      }
    }

Zu guter Letzt noch der Code für die Übertragung von IMU-Informationen in Richtung der Webseite:

    if(currentState == IMU_DATA_PROVIDER || currentState == INFERENCE_AND_DATA_PROVIDER){
      // provide data to IMU trainer
      dataProviderTxChar.writeValue(buffer, bufferSize * FLOAT_BYTE_SIZE);
    }

  }
}

Lohnt es sich?

Außer Frage steht, dass die hier demonstrierte Aufgabe nur geringen praktischen bzw. kommerziellen Nutzwert hat. Dies gilt allerdings nicht für die Kombination aus TensorFlow Lite und der Web Bluetooth API – während ersteres auch für Bildklassifizierungsaufgaben einsetzbar ist, ermöglicht zweitere die Interaktion mit Hardware ohne plattformspezifische Applikationen.

Weitere Ressourcen

• Arduino-Code => https://github.com/googlecreativelab/tf4micro-motion-kit/releases/tag/v005
• Web-Code => https://github.com/googlecreativelab/tiny-motion-trainer

[John L. (johnli)]

Das sieht einen Versuch wert aus, danke für das Teilen des Codes.

[Tam H. (Firma: Tamoggemon Holding k.s.) (tamhanna)]

John L. schrieb:
> Das sieht einen Versuch wert aus, danke für das Teilen des Codes.

Danke. Ich versuche immer, bisschen von der Codestruktur der Projekte zu 
zeigen, um sozusagen Brotkrumen in Richtung der Lösung auszulegen...