Forum: Digitale Signalverarbeitung / DSP / Machine Learning KI-Modelle Deep Dive


von Christoph M. (mchris)


Lesenswert?

Es ist äußerst spannend, sich ein wenig mit den Innereien der KI-Modell 
zu befassen.

Ein Artikel auf Heise befasst sich mit den Eigenschaften der Quen3.5 
Modelle von Allibaba:

https://www.heise.de/hintergrund/Qwen3-5-Familie-Feuerwerk-neuer-LLMs-von-Alibaba-11209718.html

Scheinbar hat Quen ordentlich an der Architektur gedreht und den 
Attention Mechanismus teilweise durch die Mamba-Architektur ersetzt.

Was ist hier bezüglich Signalverarbeitung interessant?

Die Mamba Architektur

https://www.ibm.com/de-de/think/topics/mamba-model

verwendet hier ein Zustansraumodel. So etwas kennt der Ein- oder Andere 
vom Kalman-Filter.

Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.