Forum: FPGA, VHDL & Co. Open Source IDE, KI-Bibliotheken und Tools für KI auf FPGAs


von Leon B. (leonbeier)


Angehängte Dateien:

Lesenswert?

Hi,
wir haben in den letzten Jahren an Open-Source-Tools für die 
FPGA-Entwicklung: https://one-ware.com/studio/ und an 
Open-Source-Bibliotheken für KI auf FPGAs gearbeitet. Außerdem ist auch 
ein Tool entstanden, mit dem man einfach einen eigenen Datensatz nehmen 
kann und automatisch ein optimiertes KI-Modell fürs FPGA generieren 
kann: https://one-ware.com/one-ai/

Unsere eigentliche Innovation ist dabei das Tool zur KI-Generierung. Wir 
haben uns angeschaut, wie Foundation-Modelle und spezialisierte 
KI-Modelle aufgebaut sind, und daraus einen Algorithmus entwickelt, der 
die passende Architektur für ein Projekt vorhersagen kann. Je nach 
Anzahl der Bilder, Objektgröße und vielen weiteren Faktoren schlägt das 
Tool dann z. B. die passenden Filter, Pooling-Layer oder andere 
Architektur-Bausteine vor.
Am Ende hat man dann vielleicht ein Modell mit 30.000 statt 3 Millionen 
Parametern. Erst dann fängt die übliche Optimierung wie Quantisierung 
und so erst an.

Wir sind jetzt an dem Punkt, dass jeder die Software ausprobieren kann, 
und würden uns sehr über Feedback freuen.

Ihr könnt  zum Beispiel dieses Tutorial: 
https://one-ware.com/docs/one-ai/tutorials/potato-chip-demo durchgehen 
und die Ergebnisse aus unserem Whitepaper mit Altera nachbauen: 
https://go.altera.com/l/1090322/2025-04-18/2vvzbn

Das Tool zum automatischen Erstellen von eigenen KI-Modellen ist zwar 
nicht Open Source. Wenn ihr aber die ersten Credits aufgebraucht haben 
solltet, schreibt einfach eine kurze Mail an info@one-ware.com. Ich gebe 
jedem gerne noch mehr Guthaben zum ausprobieren.

: Bearbeitet durch User
von Björn W. (bwieck)


Lesenswert?

In deinem Geblubber sind zu viele Buzzwords drin um das Ernst zu nehmen.

von Florian L. (muut) Benutzerseite


Lesenswert?

Frage aus Interesse:

Sind für eine spätere Anwendung der KI auch die Anforderungen aus dem AI 
Act erfüllbar?

Zum Beispiel die Transparenzpflichten hinsichtlich Modell und 
Trainingsdaten?

Im Bild wird eine Fremdkörpererkennung im Lebensmittelbereich 
dargestellt. Ist es tatsächlich möglich, die KI in einer Maschine gemäß 
Maschinenverordnung zu nutzen?

von Leon B. (leonbeier)


Lesenswert?

Florian L. schrieb:
> Sind für eine spätere Anwendung der KI auch die Anforderungen aus dem AI
> Act erfüllbar?
Es gibt auf jeden Fall die Möglichkeit alle relevanten Informationen zu 
erhalten. Es werden auch nur die Trainingsdaten genutzt, die bei uns 
hochgeladen werden. Aber am Ende ist der Entwickler selber dafür 
Zuständig den AI Act mit dem Produkt was er erstellt zu erfüllen. Also 
z.B. können wir die Metrics zu Test-Daten ausgeben, aber je nach 
Anwendung muss der Nutzer die Infos dann noch zusammentragen.

> Im Bild wird eine Fremdkörpererkennung im Lebensmittelbereich
> dargestellt. Ist es tatsächlich möglich, die KI in einer Maschine gemäß
> Maschinenverordnung zu nutzen?
Die KI wird ja zusätzlich zu bestehenden Kontrollen eingesetzt. Da man 
nie 100% erreichen kann, wird die KI alleine je nach Anwendung nicht 
ausreichen. Aber wenn man vergleicht, wo in der Lebensmittel Branche 
teilweise einfach geschaut wird ob die Pixel alle "Lebensmittel-Farbe" 
haben, wäre die KI schon nochmal zuverlässiger.

von Martin S. (strubi)


Lesenswert?

Sorry, falls das vernichtend klingt, aber fuer die meisten Tech-Scouts 
erscheinen me-too-Loesungen gefuehlt 20 Jahre zu spaet. Um die 
Jahrtausendwende hat Toshi Hori von Pulnix/JAI die ZICam praesentiert, 
da war AI noch was fuer picklige Studenten.
Mit Closed-Source-Tools laesst sich in der relativ volatilen 
Entwicklungswelt, wo sich grosse Firmen schon von einem auf den andern 
Tag entscheiden, ganze Aeste abzusaegen, schlecht Geld verdienen.
Interessant waere hierbei eher eine Frage wie: Koennt ihr Know-How um 
eure 'AI' dazu zu bringen, Predictorparameter fuer Bildkompression 
ad-hoc im FPGA zu optimieren? Dann koennt Ihr euch gerne bei mir direkt 
melden.

von Leon B. (leonbeier)


Lesenswert?

Martin S. schrieb:
> Sorry, falls das vernichtend klingt, aber fuer die meisten Tech-Scouts
> erscheinen me-too-Loesungen gefuehlt 20 Jahre zu spaet. Um die
> Jahrtausendwende hat Toshi Hori von Pulnix/JAI die ZICam praesentiert,
> da war AI noch was fuer picklige Studenten.
> Mit Closed-Source-Tools laesst sich in der relativ volatilen
> Entwicklungswelt, wo sich grosse Firmen schon von einem auf den andern
> Tag entscheiden, ganze Aeste abzusaegen, schlecht Geld verdienen.
> Interessant waere hierbei eher eine Frage wie: Koennt ihr Know-How um
> eure 'AI' dazu zu bringen, Predictorparameter fuer Bildkompression
> ad-hoc im FPGA zu optimieren? Dann koennt Ihr euch gerne bei mir direkt
> melden.

Ich verstehe vollkommen, wenn man aktuell kein Projekt in die Richtung 
KI auf FPGA hat und sich daher nicht abgeholt fühlt.
Von Me-Too kann man bei uns aber nicht wirklich sprechen, da alle 
bisherigen Lösungen immer auf vorgefertigten KI-Modellen basieren. Diese 
sind deutlich weniger performant, zuverlässig und ressourcenschonend wie 
die KI Modelle, die von unserer Lösung entworfen werden.
Und die Probleme bei Lösungen, die nicht open-source sind, sind mir 
bewusst. Deswegen machen wir auch alles bis auf unsere Kern-Innovation 
open source.
Sollte es uns nicht mehr geben, hat man dann immernoch ein 
funktionierendes Projekt. Nur man müsste wie bislang mit KI Entwicklern 
daran weiter arbeiten, anstatt, dass unsere Lösung die KI Modelle für 
die Anwendung entwickelt.

von Christoph db1uq K. (christoph_kessler)


Lesenswert?

Björn W. schrieb:
> In deinem Geblubber sind zu viele Buzzwords drin um das Ernst zu nehmen.

So seh ich das auch. Hohles Werbegeschwätz der Marketingabteilung.

von Nemopuk (nemopuk)


Lesenswert?

Leon B. schrieb:
> Wenn ihr aber die ersten Credits aufgebraucht haben
> solltet, schreibt einfach eine kurze Mail an info@one-ware.com.

Also geht es eigentlich nicht um eine kostenlose Bibliothek, sondern um 
Werbung für euren KI Dienst. Richtig?

Leon B. schrieb:
> Von Me-Too kann man bei uns aber nicht wirklich sprechen, da alle
> bisherigen Lösungen immer auf vorgefertigten KI-Modellen basieren. Diese
> sind deutlich weniger performant, zuverlässig und ressourcenschonend wie
> die KI Modelle, die von unserer Lösung entworfen werden.

Jaja. Jeder hat das beste System. Lassen wir es einfach mal so stehen. 
Vielleicht stimmt es sogar.

> Sollte es uns nicht mehr geben, hat man dann immernoch ein
> funktionierendes Projekt.

Wofür verbraucht man dann bei euch Credits?

: Bearbeitet durch User
von Leon B. (leonbeier)


Lesenswert?

Christoph db1uq K. schrieb:
> Björn W. schrieb:
>> In deinem Geblubber sind zu viele Buzzwords drin um das Ernst zu nehmen.
>
> So seh ich das auch. Hohles Werbegeschwätz der Marketingabteilung.

Wir haben unser System auf mehreren Datensätzen getestet und zuverlässig 
bessere Ergebnisse erhalten als mit universellen KI Modellen. So z.B. 
auch in dem Whitepaper mit Altera.

von Bradward B. (Firma: Starfleet) (ltjg_boimler)


Lesenswert?

> Sind für eine spätere Anwendung der KI auch die Anforderungen aus dem AI
> Act erfüllbar?
>
> Zum Beispiel die Transparenzpflichten hinsichtlich Modell und
> Trainingsdaten?

IMHO gibt es hier ne Begriffsverwirrung,  das Beispiel hier zählt IMHO 
zur Objekterkennung, Machine Vision, vielleicht noch Machine Learning, 
aber nicht zu AI wie es heute gern am Beispiel von Sprachmodellen und 
Bildmanipulationen benutz wird. Daher findet der AI Act hier keine 
Anwendung.

Nicht alles was künstliche neuronale netze verwendet ist gleich eine KI. 
Auch, wenn das Merketing gern die "Anziehungskraft" dieses Begriffs 
benutzt.

> Im Bild wird eine Fremdkörpererkennung im Lebensmittelbereich
> dargestellt. Ist es tatsächlich möglich, die KI in einer Maschine gemäß
> Maschinenverordnung zu nutzen?

Was spricht (regulativ) dagegen?
Meines Wissens ist Qualitätskontrolle im Getränkeabfüllbereich seit 
Jahrzehnten so gemacht, weil kein Mensch länger als 10 Minuten 
konzentriert an der Abfüllanlage stehen kann. Vor einigen Jahren gabs 
auch einen Bericht über die Verwendung im Pharmaziebereich, Kontrolle 
von Impfdosen o.ä..

von Leon B. (leonbeier)


Lesenswert?

Nemopuk schrieb:
> Also geht es eigentlich nicht um eine kostenlose Bibliothek, sondern um
> Werbung für euren KI Dienst. Richtig?
Wir möchten Feedback von Nutzern erhalten. Wenn der Dienst privat oder 
zum Basteln genutzt wird geben wir immer gerne kostenloses Guthaben. 
Aber für kommerzielle Zwecke können wir auch aufgrund von unseren Kosten 
für Server und Entwicklung den Dienst nicht kostenlos anbieten.
Trotzdem ist unser Dienst deutlich günstiger als normale KI Entwicklung 
mit den dazugehörigen Personalkosten.

> Wofür verbraucht man dann bei euch Credits?
Dafür, dass auf unserem Server die KI automatisch entworfen und danach 
trainiert wird.

von Nemopuk (nemopuk)


Lesenswert?

Leon B. schrieb:
>> Wofür verbraucht man dann bei euch Credits?
> Dafür, dass auf unserem Server die KI automatisch entworfen
> und danach trainiert wird.

OK danke, dann hatte ich das schon richtig verstanden. Die kostenlose 
oder preisngünstige Startphase ist eine gute Idee, um Feedback zu 
erhalten (Win-Win).

Leon B. schrieb:
> Sollte es uns nicht mehr geben, hat man dann immer noch ein
> funktionierendes Projekt

Das verstehe ich nun allerdings nicht. Wenn es euch nicht mehr gibt, 
dann betrifft das wohl auch den Nachschub an Credits.

von Leon B. (leonbeier)


Lesenswert?

Nemopuk schrieb:
> Das verstehe ich nun allerdings nicht. Wenn es euch nicht mehr gibt,
> dann betrifft das wohl auch den Nachschub an Credits.
Die KI, die von uns vorhergesagt wird und dem Kunden geschickt wird, 
kann danach von einem KI Entwickler auch weiterhin trainiert oder 
weiterentwickelt werden.
Aber natürlich ist es nicht so einfach wie unseren Service zu nutzen. Da 
es aber bislang eh noch keine Alternative zum KI-Entwickler für 
individuelle KI-Modelle gibt, wäre es jetzt ja auch nicht anders.
Es steht natürlich auch jedem Frei weiterhin open-source Standard-KI 
Modelle zu nutzen. Dann aber halt nicht mit der entsprechenden 
Performance, Genauigkeit und Effizienz.

von Nemopuk (nemopuk)


Lesenswert?

Leon B. schrieb:
> Die KI, die von uns vorhergesagt wird und dem Kunden geschickt wird,
> kann danach von einem KI Entwickler auch weiterhin trainiert oder
> weiterentwickelt werden.
> Aber natürlich ist es nicht so einfach wie unseren Service zu nutzen. Da
> es aber bislang eh noch keine Alternative zum KI-Entwickler für
> individuelle KI-Modelle gibt, wäre es jetzt ja auch nicht anders.

Jetzt hast du mich abgehängt. Ich verstehe deine Antwort nicht.

von Jens W. (jensw)


Lesenswert?

Ich verstehe es so:
Man kann den Dienst nutzen und bekommt dafür ein KI-Modell für eine 
bestimmte Aufgabe.
Die kann ich nutzen und auf meinem FPGA laufen lassen.
Wenn es die Firma nicht mehr gibt, kann ich das bereits implementierte 
Modell weiter laufen lassen.
Nur neue Modelle wird es dann nicht mehr geben.

Für einen Versuch hört sich das sehr interessant an.
Was wäre denn eine "Standard Aufgabe", wo man eure Lösung mit einem 
konventionellen Modell vergleichen kann.

Grüße

: Bearbeitet durch User
von Martin S. (strubi)


Lesenswert?

Leon B. schrieb:
> Ich verstehe vollkommen, wenn man aktuell kein Projekt in die Richtung
> KI auf FPGA hat und sich daher nicht abgeholt fühlt.

Ich verstehe das so, dass du zu der genannten Aufgabe eigentlich gar 
keine Loesung anbieten kannst. Korrekt?

> Von Me-Too kann man bei uns aber nicht wirklich sprechen, da alle
> bisherigen Lösungen immer auf vorgefertigten KI-Modellen basieren. Diese
> sind deutlich weniger performant, zuverlässig und ressourcenschonend wie
> die KI Modelle, die von unserer Lösung entworfen werden.

Schau, ich hoere taeglich "The world's first/biggest/smallest", usw.
Und irgendwann geht auch der KI-Nonsense in die Saettigung. Hier sind 
gottseidank noch Techniker unterwegs, die Substanz erwarten.

: Bearbeitet durch User
Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.