Forum: Offtopic Machine Learning auf Logdaten


von Bruno V. (bruno_v)


Lesenswert?

Wir verkaufen riesige Anlagen mit tausenden von Sensoren und Aktoren und 
entsprechend großen, spezifischen Logdaten. Viele sind redundant in dem 
Sinne, dass z.B. zeitgesteuert gefahren wird, wenn sie defekt sind. 
Zudem sind immer wieder Menschen vor Ort, die korrigieren und reagieren, 
doch das meiste läuft autonom.

Wenn es tatsächlich Probleme gibt, schauen wir Entwickler in die 
Logfiles (bzw. deren Visualisierung/Playback). Das klappt ziemlich gut.

Es wäre jedoch gut, wenn wir mit den Logfiles (mehrere Anlagenjahre) 
eine KI (Machine Learning) füttern, die lernt, was "normale" 
Betriebszustände sind und "Besonderheiten" lernt. Beispiel: Wenn der 
Ablauf xy immer länger dauert, wird bald jenes Bauteil getauscht. Und im 
zweiten schritt dann die Frage: wo dauert dieser Ablauf jetzt länger?.

Wenn man sowas mittelfristig anstrebt, z.B. 5 Jahre, welche 
Tools/Techniken würde man sich heute anschauen? Welche Information würde 
man mit in die Logfiles geben (Zeitstempel hochaufgelöst und 
Sensorstatus sind enthalten, Manuelle Reparaturen müssten Stand heute 
manuell per ungefährer Zeit hinzugefügt werden)

(O.T., Da es noch keine KI-Rubrik gibt)
von Rbx (rcx)


Lesenswert?

Du kannst auch die KIs diesbezüglich fragen, üblicherweise haben die 
darauf schon gute Hinweise drin.
von Bradward B. (Firma: Starfleet) (ltjg_boimler)


Lesenswert?

> Wenn man sowas mittelfristig anstrebt, z.B. 5 Jahre, welche
> Tools/Techniken würde man sich heute anschauen?

Mal unter dem Stichwort "Preventive Maintenance" recherchieren ?!

> Welche Information würde
> man mit in die Logfiles geben (Zeitstempel hochaufgelöst und
> Sensorstatus sind enthalten, Manuelle Reparaturen müssten Stand heute
> manuell per ungefährer Zeit hinzugefügt werden)

Naja, das sollte doch der die Maschine gebaut hat am Besten wissen. 
insbesonders der der das Wartungshandbuch geschrieben hat. Allgemein 
kann man sagen, das die Komponenten mit dem höchsten Stress am ehesten 
ausfallen.
 Und um die zu ermitteln kann man Test fahren, bspw. "envorimental 
stress screening" nach MIL-STD-883. Die engl. Wikipedia nennt noch ein 
paar weitere:
* https://en.wikipedia.org/wiki/Environmental_stress_screening

Das IMHO am häufigsten eingesetzte tool ist IMHO der "geschulte Blick" 
also optische Inspektion auf Frühindikatoren wie Rauchspuren oder 
spananhäufungen, logfiles interessieren da eher wenig.

> (O.T., Da es noch keine KI-Rubrik gibt)
Und wohl auf absehbare Zeit nicht geben wird (zumindest nicht in diesem 
Forum): Beitrag "Re: Neues Unterforum für KI-Themen einrichten ?"
: Bearbeitet durch User
von Gerd E. (robberknight)


Lesenswert?

Bruno V. schrieb:
> Wenn man sowas mittelfristig anstrebt, z.B. 5 Jahre, welche
> Tools/Techniken würde man sich heute anschauen? Welche Information würde
> man mit in die Logfiles geben (Zeitstempel hochaufgelöst und
> Sensorstatus sind enthalten, Manuelle Reparaturen müssten Stand heute
> manuell per ungefährer Zeit hinzugefügt werden)

schau dass du die daten jetzt schon möglichst strukturiert in den logs 
ablegst. Also so, dass nicht nur ein LLM das als input frisst, sondern 
so, dass du vorher schon statistik-tools und anderes drüberlaufen lassen 
kannst und dann nur das ergebnis dem LLM vorwirfst.
von Giovanni (sqrt_minus_eins)


Lesenswert?

Ich würde das Thema bei Predictive Maintenance einordnen.
https://en.wikipedia.org/wiki/Predictive_maintenance

Nicht wirklich neu. General Electric macht dies schon viele Jahre bei 
Flugzeugtriebwerken (in der Luft) und Gasturbinen (am Boden). Angeblich 
fallen bei einem Flug London->Frankfurt 1TB an Rohdaten an 
(Schwingungen, Temperaturen, ...).

Wichtiger als KI wäre Alterungs- bzw. Verschleißmodelle der Komponenten 
zu haben und diese mit den Realdaten der Beanspruchung zu füttern.

Hat man solche Modelle, dann kann man auch die Betriebsweise auf max. 
Lebensdauer abstimmen.

==> NI statt KI
von Lu (oszi45)


Lesenswert?

Einer KI, die man nicht selbst entwickelt hat, sollte man nicht voll 
vertrauen. Sie könnte schon morgen weg sein und Du stehst mit leeren 
Händen da! Ein paar Skripte, die wichtige Betriebsdaten überwachen 
sollte man schon SELBST haben. Der Rest ist eine Frage, ob Du 
Betriebsgeheimnisse einfach verschenken möchtest.
von Εrnst B. (ernst)


Lesenswert?

Bruno V. schrieb:
> Wenn man sowas mittelfristig anstrebt, z.B. 5 Jahre, welche
> Tools/Techniken würde man sich heute anschauen?

Liest sich wie ein Problem auf das man heute ein LLM mit vielen 
Milliarden Parametern und Mio € an Token werfen würde.

Oder man schaut ein paar Jahrzehnte zurück, z.B. zu CNNs/TDNNs, und 
versucht es mit einem klitzekleinen Bruchteil an Rechenleistung...

Problem: Die nehmen keinen Freitext als Input, sondern besser rohe 
Sensordaten als floats.
Beim Extrahieren aus den Logdateien kann dir ein LLM helfen, und dir 
z.B. einen Berg an Regexp schreiben...
Tipp: Sieh einen Extra Input am Netz vor, der auf ungeparste Logzeilen 
triggert.


Edit: Da hat sich seit den 1980ern schon was getan, auch Richtung 
LSTM/GRU schauen.
Und beim Training hast du vmtl. das Problem, dass du viele viele Jahre 
an "gesunden" Daten hast, aber nur wenige Daten kurz vor Ausfällen, das 
macht das Training schwierig.
: Bearbeitet durch User
von Lu (oszi45)


Lesenswert?

Man weiß ja nicht welche Daten er hat und später braucht. Wenn die 
"AUtomatik" alles macht, kann zwar jede Putzfrau nachsehen, ob rot oder 
grün ist, aber Zusammenhänge im Untergrund gehen in der Menge der 
Informationen verloren.

Man liest: Ein LLM-Agent, der dein Wissen automatisch vernetzt, 
synthetisiert und aktuell hält – Andrej Karpathys LLM Wiki verspricht 
genau das. Die Idee ist verführerisch. Und trotzdem: Ich baue es nicht 
nach. Nicht, weil das Konzept nicht funktioniert. Sondern weil es den 
einen Schritt automatisiert, den ich selbst behalten will: das Knüpfen 
meines eigenen Wissensnetzes. Der Agent legt fest, welche Begriffe, 
Papers und Ideen miteinander verwandt sind – doch genau diese Relationen 
sind für mich der Kern des Denkens, nicht dessen Nebenprodukt. Hinzu 
kommt eine harte Abhängigkeit: Das Wiki macht die KI zur Infrastruktur. 
Ohne den Agenten veraltet die gepflegte Struktur sofort. Und genau für 
jenen Teil meiner Realität, der nicht aus maschinenlesbaren Texten 
besteht – gescannte Dokumente, handschriftliche Notizen, fotografierte 
Ausschnitte – bleibt es ohne überzeugende Antwort.
von Oliver S. (oliverso)


Lesenswert?

Lu schrieb:
> Sondern weil es den
> einen Schritt automatisiert, den ich selbst behalten will: das Knüpfen
> meines eigenen Wissensnetzes. Der Agent legt fest, welche Begriffe,
> Papers und Ideen miteinander verwandt sind – doch genau diese Relationen
> sind für mich der Kern des Denkens, nicht dessen Nebenprodukt.

Bei KI-gestützter Mustererkennung, um die es hier geht, wie präventiver 
Maintenace, Analyse von Röntgenbildern, Erkennung von 
Verkehrsituationen, usw. gibt es keine Paper, Ideen, Begriffe, Kerne des 
Denkens, oder sonstige geistigen Ergüsse.
Es gibt einen Haufen Daten, dazu Input in Form von gewünschten 
Ergebnissen oder Schlußfolgerungen, und eine KI, die daraus ihre eigenen 
Schlüsse ziehen muß.

Oliver
: Bearbeitet durch User
von Lu (oszi45)


Lesenswert?

Oliver S. schrieb:
> Ergebnissen oder Schlußfolgerungen, und eine KI, die daraus ihre eigenen
> Schlüsse ziehen muß.

Ob die KI jede Schweißnaht oder Situation erkennt, die nur etwas anders 
ist und doch gut? Das wird meiner Meinung nach ein langer Lernprozess, 
der erst durch ausreichend Beispiel-Fehler zuverlässig eingeschätzt 
werden kann. Die dazu notwendigen Lerndaten wären für mich ein gut 
gehütetes Betriebsgeheimnis.
von Bruno V. (bruno_v)


Lesenswert?

Vielen Dank für die Anworten und Anregungen. Ich bin da völlig neu und 
unerfahren, aber irgendwer muss bei uns ja anfangen.

Die Logdaten selber sind angesichts der Menge (~1 GB / Tag) binär und 
können in beliebige Formate gewandelt werden. Für uns Menschen gibt es 
viele spezielle Visualisierungen, mit denen Muster gut gesucht werden 
können. Auf die Dauer reicht das aber nicht: 
Daten/Erwartungen/Automatisierungen werden mehr, Experten  und Zeit 
weniger. Die Pioniere der ersten 30 Jahre verschwinden langsam mit ihrer 
akkumulierten Erfahrung. Und selbst wenn ein junger Kollege 3 Jahre 
bleibt, verhindert die Work-Life-Balance tiefes Eintauchen (was OK ist, 
es wird in D nicht vergütet). Danach ist er trotzdem weg oder "zu 
höherem" berufen.

Rbx schrieb:
> Du kannst auch die KIs diesbezüglich fragen, üblicherweise haben die
> darauf schon gute Hinweise drin.

Tatsächlich sehr hilfreich, Danke!
: Bearbeitet durch User
von Lu (oszi45)


Lesenswert?

Als mir Schach-Profi Rainer Knaak die Anfänge der KI an der Uni im 
letzten Jahrtausend erklärte, war es noch überschaubar, heute sind 
einige TB Daten zu beherrschen. Wir werden in den nächsten Jahren davon 
zugemüllt und verlieren die Übersicht, wenn wir nicht aufpassen! 
Unsere wertvollen, erarbeiteten Lerndaten sollten wir nicht einfach 
verschenken!!!
von Christoph M. (mchris)


Lesenswert?

Bruno V. schrieb:
> Wenn man sowas mittelfristig anstrebt, z.B. 5 Jahre, welche
> Tools/Techniken würde man sich heute anschauen?

Ich meine dazu ein ziemlich gut passendes Lernbeispiel mit Tensorflow 
gesehen zu haben, dass genau das macht: Riesige Datensätze analysieren 
und Ausreißer entdecken.

Stichwort: "unsupervised learning mit autoencodern"

Ich meine, damit müsste man relativ zügig ein Demo für eure Daten 
hinbekommen.
: Bearbeitet durch User
von Oliver S. (oliverso)


Lesenswert?

Lu schrieb:
> Ich baue es nicht
> nach. Nicht, weil das Konzept nicht funktioniert. Sondern weil es den
> einen Schritt automatisiert, den ich selbst behalten will

Du kannst machen, was immer du willst. Es wird für alles, was da noch 
kommt, völlig irrelevant sein.

Oliver
von Lu (oszi45)


Lesenswert?

Oliver S. schrieb:
> Es wird für alles, was da noch kommt, völlig irrelevant sein.

Zu 50% hast Du recht. Aber warum hat die NASA die alten Herren zur 
Reparatur der Pioneer-Sonde aus dem Ruhestand geholt? Fehlendes Wissen 
und unzureichende Dokumentation dürfte die Ursache gewesen sein.
von Oliver S. (oliverso)


Lesenswert?

So what? Beim nächsten Problem dieser Art wird das nicht mehr gehen, 
dann ist die Sonde Geschichte.

Oliver
Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.