Es ist äußerst spannend, sich ein wenig mit den Innereien der KI-Modell zu befassen. Ein Artikel auf Heise befasst sich mit den Eigenschaften der Quen3.5 Modelle von Allibaba: https://www.heise.de/hintergrund/Qwen3-5-Familie-Feuerwerk-neuer-LLMs-von-Alibaba-11209718.html Scheinbar hat Quen ordentlich an der Architektur gedreht und den Attention Mechanismus teilweise durch die Mamba-Architektur ersetzt. Was ist hier bezüglich Signalverarbeitung interessant? Die Mamba Architektur https://www.ibm.com/de-de/think/topics/mamba-model verwendet hier ein Zustansraumodel. So etwas kennt der Ein- oder Andere vom Kalman-Filter.
Bitte melde dich an um einen Beitrag zu schreiben. Anmeldung ist kostenlos und dauert nur eine Minute.
Bestehender Account
Schon ein Account bei Google/GoogleMail? Keine Anmeldung erforderlich!
Mit Google-Account einloggen
Mit Google-Account einloggen
Noch kein Account? Hier anmelden.