Quellcode und Firmware (MIT): https://github.com/cccat6/iphone-agent-harness Deutsche Projektbeschreibung: https://github.com/cccat6/iphone-agent-harness/blob/main/docs/readme/de.md Demo und Browser-Flasher: https://igent.cc
Hallo zusammen,
ich möchte unser Projekt iPhone Agent Harness vorstellen. Ein KI-Agent läuft in Safari auf dem iPhone, beobachtet den freigegebenen Bildschirm und sendet Eingabebefehle über lokales WebRTC an einen ESP32. Der ESP32 meldet sich am iPhone als Bluetooth-Maus und -Tastatur an; AssistiveTouch setzt die Eingaben um. Auf dem Mikrocontroller läuft kein Sprachmodell.
Das Board wird separat mit Strom versorgt und kann in Bluetooth-Reichweite liegen bleiben. Telefon und Board verwenden dasselbe normale WLAN. Das iPhone benötigt keine Kabelverbindung zum Board. Die Erstinstallation der Firmware erfolgt am Computer über Chrome oder Edge.
Die Website zeigt eine Aufnahme, in der der Agent auf einem echten iPhone einen Wecker einstellt. Außerdem gibt es Gesprächsverwaltung, frei wählbare Modellanbieter und teilbare Skills für wiederkehrende Aufgaben. Gespräche und Zugangsdaten werden im Browser gespeichert; ausgewählte Bildschirm- und Gesprächsinhalte gehen an den gewählten Modellanbieter.
Voraussetzungen sind derzeit iOS/iPadOS 27 oder neuer, Safari-Bildschirmfreigabe, AssistiveTouch und ein bildfähiges KI-Modell. Im README stehen die unterstützten ESP32-Varianten und Flash-Anforderungen. Die Demo belegt einen konkreten Ablauf, nicht die zuverlässige Automatisierung beliebiger Apps.
Inspiriert wurde das Projekt durch onehumanbeing/esp32-iphone-agent, dem wir im README danken. Unsere Variante untersucht den Weg über Safari und Bluetooth-HID.
Rückmeldungen zu WLAN/BLE-Koexistenz, Kopplung und reproduzierbaren Eingabeproblemen sind willkommen. Fehlerberichte lassen sich direkt im oben verlinkten Repository sammeln.