Viele Leute meinen ja, die KI sei eine Art "stochastischer Papagei" der
nur gelernte oder gefundene Informationen auf irgend eine Art zufällig
wiederholt.
Hier mal der Versuch zu zeigen, dass das nicht so ist:
1
user@Ryzen7:~$ ollama run lfm2.5:latest
2
3
>>> x=1234, zeige die nächsten zehn Zahlen, die auf x folgen
4
5
Die nächsten zehn Zahlen, die auf x = 1234 folgen, sind:
6
7
1. 1235
8
2. 1236
9
3. 1237
10
4. 1238
11
5. 1239
12
6. 1240
13
7. 1241
14
8. 1242
15
9. 1243
16
10. 1244
Es ist also kein stochastischer Papagei:
Die Antwort ist sicherlich nicht im Internet gelernt und die Zahlen sind
nicht zufällig.
Christoph M. schrieb:> Es ist also kein stochastischer Papagei:
Doch, natürlich.
Die KI kriegt für jeden Token den sie ausgibt den ganzen Text vorher,
incl. das was sie schon geantwortet hat, als Input, und gibt das Token
aus, was am wahrscheinlichsten als nächstes folgt.
und bei
USER: x=1234, zeige die nächsten zehn Zahlen, die auf x folgen
KI: Die nächsten zehn Zahlen, die auf x = 1234 folgen, sind:
1. 123_
ist die "5" eben die stochastisch am wahrscheinlichsten richtige
Fortsetzung.
Dreh die "temperature" auf Anschlag, dann siehst du was passiert, wenn
auch öfter mal die zweit- oder drittwahrscheinlichste Fortsetzung
gewählt wird.
Christoph M. schrieb:> Es ist also kein stochastischer Papagei:
Das ist EIN Beispiel.
In der Realität muss ich mich darauf verlassen können - und davon sind
die Antworten weit entfernt.
Matthias S. schrieb:> In der Realität muss ich mich darauf verlassen können - und davon sind> die Antworten weit entfernt.
nein, müssen musst du das nicht
im Gegenteil: sollten solltest du nicht
da du von der großen Unsicherheit in den Antworten weißt
Als Unterstützung kann man sie nehmen,
solange du bei Dingen wo es drauf ankommt,
das eigene Hirn eingeschaltet lässt.
OK, genauere Formulierung:
In der Realität muss ich mich darauf verlassen können, bevor ich
ernstlich über die Benutzung nachdenke - und davon sind die Antworten
weit entfernt.
Εrnst B. schrieb:> Christoph M. schrieb:>> Es ist also kein stochastischer Papagei:>> Doch, natürlich.>> Die KI kriegt für jeden Token den sie ausgibt den ganzen Text vorher,> incl. das was sie schon geantwortet hat, als Input, und gibt das Token> aus, was am wahrscheinlichsten als nächstes folgt.>> und bei> USER: x=1234, zeige die nächsten zehn Zahlen, die auf x folgen> KI: Die nächsten zehn Zahlen, die auf x = 1234 folgen, sind:>> 1. 123_>> ist die "5" eben die stochastisch am wahrscheinlichsten richtige> Fortsetzung.
Gut, dann machen wir folgendes:
1
user@Ryzen7:~$ ollama run lfm2.5:latest
2
3
>>> Erweitere die Reihe 3,9,16,25 um weitere 5 Elemente
Oh, ein sinnfreier K„I“-Thread. Hatten ja schon mehrere Tage keinen
mehr, hab mir schon Sorgen gemacht.
Christoph M. schrieb:> Viele Leute meinen ja, die KI sei eine Art "stochastischer Papagei" der> nur gelernte oder gefundene Informationen auf irgend eine Art zufällig> wiederholt.
Hast du da mal ein Beispiel? Nicht für „stochastischer Papagei“, sondern
für die Behauptung, es würden nur Informationen auf irgendeine Art
zufällig wiederholt.
Und ja: fortlaufende Zahlenreihen dürften in den Trainingsdaten gelandet
sein, vermutlich absichtlich mit hoher Gewichtung. Schon alleine, bei
solchen „Demonstrationsanfragen“ nicht völlig lächerlich zu wirken.
Mittlerweile wird auch der Eindruck erweckt, LLM könnten die Häufigkeit
des Buchstaben „e“ im Wort „Erdbeere“ zählen – interessanterweise nur
beim „e“ in „Erdbeere“, bei anderen Buchstaben in anderen Wörtern ist
die Antwort oft falsch, wie seit eh und je.
Christoph M. schrieb:>>>> Erweitere die Reihe 3,9,16,25 um weitere 5 Elemente>> Thus answer: 36, 49, 64, 81, 100.
Soll das x² sein? mit x = 2,3,4...
Dann stimmt aber die erste "3" nicht.
Matthias S. schrieb:> In der Realität muss ich mich darauf verlassen können
Und auf Menschen und deren Aussagen und Entwicklungen und Berechnungen
kann man sich immer verlassen? Menschen zeichnen sich dadurch aus dass
sie nie Fehler machen? Das ist mal ne ganz neue Theorie. Früher so:
"Irren ist menschlich". Heute: "Die KI muss so perfekt sein wie ein
Mensch und niemals Fehler machen sonst kann man nichts damit anfangen".
Joa.
Udo S. schrieb:> Christoph M. schrieb:>>>>> Erweitere die Reihe 3,9,16,25 um weitere 5 Elemente>>>> Thus answer: 36, 49, 64, 81, 100.>> Soll das x² sein? mit x = 2,3,4...> Dann stimmt aber die erste "3" nicht.
Du hast völlig Recht: da ist mir in meiner Mittagsmüdigkeit glatt ein
Fehler unterlaufen. Das witzige aber: Ich wollte die Reihe genau so
vervollständigt sehen.
Christoph M. schrieb:> Du hast völlig Recht: da ist mir in meiner Mittagsmüdigkeit glatt ein> Fehler unterlaufen. Das witzige aber: Ich wollte die Reihe genau so> vervollständigt sehen.
Moment, wer hat jetzt den Fehler gemacht? Hast du es nur im Forum falsch
eingetippt, oder hat die KI trotz der "3" am Anfang die Reihe als x²
angenommen?
Christoph M. schrieb:> Es ist also kein stochastischer Papagei:
Nein, so einfach ist es natürlich nicht, aber Du scheinst dennoch die
Funktionsweise heutiger LLMs nicht verstanden zu haben.
Hier eine super Erklärung wie es funktioniert inkl. der sich ergebenden
Probleme:
So denkt ein KI‑Sprachmodell – die überraschende Wahrheit!
https://youtu.be/CiwTKDKsqhM?si=dPbZJX9q6X2HarpR
Ich habe hier mal Claude mit Sonnet 5 befragt. Die Antwort hat einige
Sekunden gedauert und ist differenzierter:
Es kommt auch auf die x² als wahrscheinlichste Lösung, schreibt aber:
"Kurzer Hinweis: Falls die „3" bewusst so gemeint war (also kein
Tippfehler für „4"), gäbe es noch eine alternative, komplexere Lösung
über die Differenzenfolge (6, 7, 9, …, deren Zuwächse selbst um 1, 2, 3
… steigen). Das würde zu den Werten 37, 53, 74, 101, 135 führen. Falls
du das genauer durchrechnen lassen möchtest, sag einfach Bescheid – aber
die Quadratzahl-Lösung ist mit Abstand die naheliegendste und
wahrscheinlichste Interpretation."
Johnny B. schrieb:> Hier eine super Erklärung wie es funktioniert inkl. der sich ergebenden> Probleme:> So denkt ein KI‑Sprachmodell – die überraschende Wahrheit!
Das einzige was in Foren schlimmer ist, als unreflektiert irgendwelche
LLM Antworten als eigenen Beitrag zu posten, ist youtube Filmchen zu
verlinken.
Johnny B. schrieb:> Christoph M. schrieb:>> Es ist also kein stochastischer Papagei:>> Nein, so einfach ist es natürlich nicht, aber Du scheinst dennoch die> Funktionsweise heutiger LLMs nicht verstanden zu haben.> Hier eine super Erklärung wie es funktioniert inkl. der sich ergebenden> Probleme:> https://youtu.be/CiwTKDKsqhM?si=dPbZJX9q6X2HarpR
Das Video kenne ich und es ist gar nicht mal so schlecht. Der Typ ist
mir allerdings deutlich zu arrogant im Auftreten und die
Transformerarchitektur am Anfang des Videos (siehe Screenshot) wird so
schon lange nicht mehr verwendet. Die meisten Modelle sind reine
Decoder-Modelle, der Encoder wird nicht gebraucht.
Aber wie so oft in der Lehre werden einmal in die Welt gebrachte Muster
wiederholt und es wird nacherzählt ohne nachzudenken. Die
Encoder-Decoder Bilder finden sich übrigens in vielen Videos, obwohl
längst schon obsolet.
Christoph M. schrieb:> der nur gelernte oder gefundene Informationen auf irgend eine Art> zufällig wiederholt.
Und die Forenteilnehmer plappern hier auch nur den Stuss nach den ihr
kleines Hirn in irgendeinem Wirtshaus aufgeschnappt hat.
Udo S. schrieb:> Ich habe hier mal Claude mit Sonnet 5 befragt. Die Antwort hat einige> Sekunden gedauert und ist differenzierter:> Es kommt auch auf die x² als wahrscheinlichste Lösung, schreibt aber:>> "Kurzer Hinweis: Falls die „3" bewusst so gemeint war (also kein> Tippfehler für „4"), gäbe es noch eine alternative, komplexere Lösung> über die Differenzenfolge (6, 7, 9, …, deren Zuwächse selbst um 1, 2, 3> … steigen). Das würde zu den Werten 37, 53, 74, 101, 135 führen. Falls> du das genauer durchrechnen lassen möchtest, sag einfach Bescheid – aber> die Quadratzahl-Lösung ist mit Abstand die naheliegendste und> wahrscheinlichste Interpretation."
Ja, das ist interessant. Die Modelle kommen mittlerweile auch noch auf
andere Lösungen, das was man sich so vorstellt.
Ich habe bei meinem Mini-Modell folgende Reihe probiert:
1
>>> Erweitere die Reihe 5,10,17,26 um weitere 5 Elemente
Udo S. schrieb:> Abstand ist 5, 7, 9, ...> Dazu braucht man kein LLM.
Ja, so sieht es lfm2.5 auch, allerdings war meine Idee y=x²+1 mit x=2,3
..
Das Ziel ist ja am konkreten Fakt zu zeigen, dass die LLMs nicht einfach
nur plappernde Papageien sind. Dazu braucht es eine Reihe, die so nicht
im Internet zu finden ist.
1
>>> Erweitere die Reihe 5,10,17,26 um weitere 5 Elemente
2
Thinking...
3
The user asks in German: "Erweitere die Reihe 5,10,17,26 um weitere
4
5 Elemente". So we need to extend the arithmetic sequence (or
5
pattern) by five more elements. The series given is 5, 10, 17,
Christoph M. schrieb:> Das Ziel ist ja am konkreten Fakt zu zeigen, dass die LLMs nicht einfach> nur plappernde Papageien sind.
Wenn Du eine exakt zu den Trainingsdaten passende Frage stellst, dann
plappert sie im Prinzip schon die Daten aus dem Training nach, nur hat
sie noch die Fähigkeit, die Trainingsdaten zu interpolieren, wenn es
eben nicht exakt zusammenpasst und meistens kommt dann sogar etwas
sinnvolles raus.
Johnny B. schrieb:> Wenn Du eine exakt zu den Trainingsdaten passende Frage stellst, dann> plappert sie im Prinzip schon die Daten aus dem Training nach, nur hat> sie noch die Fähigkeit, die Trainingsdaten zu interpolieren, wenn es> eben nicht exakt zusammenpasst und meistens kommt dann sogar etwas> sinnvolles raus.>So denkt ein KI‑Sprachmodell – die überraschende Wahrheit!>https://youtu.be/CiwTKDKsqhM?si=dPbZJX9q6X2HarpR
Ich glaube, da fällst du auf die didaktischen Vereinfachungen am Schluss
des Videos herein:
„Ein LLM ist nur eine Abbildung“ zwar für mathematisch korrekt, aber als
Erklärung für sein Verhalten für unvollständig. Mit demselben Argument
könnte man auch sagen: „Eine CPU ist nur eine boolesche Funktion ihrer
Eingänge.“ Das stimmt formal – erklärt aber weder, wie ein
Betriebssystem läuft, noch wie ein Schachprogramm oder ein Compiler
funktioniert. Entscheidend ist nicht nur, dass eine Funktion berechnet
wird, sondern welche Funktion und wie sie durch wiederholte Anwendung
über viele Schritte komplexes Verhalten hervorbringt.
Das Video bewegt sich im Erkenntnishorizont des Jahres 2022. Wir haben
jetzt aber 2026 und da sind die Themen "Reasoning" und "Agentic Harness"
von größerer Relevanz.
Christoph M. schrieb:> machen wir folgendes:>>>> Erweitere die Reihe 3,9,16,25 um weitere 5 Elemente> 36, 49, 64, 81, 100
Das ist falsch. Die richtige Antwort ist natürlich:
> 0, 0, 0, 0, 0
aber halt, das ist nicht die einzige richtige Anwort. Ein Fan von
Douglas Adams würde natürlich darauf bestehen daß die richtige Antwort
> 42, 42, 42, 42, 42
ist. Oder, wie es mein Kombinatorik-Professor ausdrücken würde:
"Jede Zahlenreihe, von der nur eine endliche Menge von Anfangswerten
bekannt ist, kann beliebig fortgesetzt werden. Für jede dieser
Fortsetzungen kann eine Gesetzmäßigkeit gefunden werden, die zumindest
für eine endliche Zahl an Fortsetzungen paßt. Im einfachsten Fall setze
man die Folge einfach mit einer Konstanten, z.B. 0 fort."
Es ist eine Eigenart des menschlichen Geistes, auch in vollkommen
willkürlichen Zahlenfolgen eine Gesetzmäßigkeit sehen zu wollen. Daraus
sind dann solche "Perlen" entstanden wie daß "18" ein Nazi-Code sein
soll^W muß. Oder daß man beim rückwärts abspielen einer Windows
Installations CD eine Beschwörung des Teufels hört :)
Ich finde es lustig (und keinesfalls verwunderlich), daß LLM den
gleichen Fehler machen. Warum auch nicht. Sie können ja auch rassistisch
sein. Oder feministisch. Je nachdem, welche Trainingsdaten man
verwendet.
Axel S. schrieb:>>>>> Erweitere die Reihe 3,9,16,25 um weitere 5 Elemente>> 36, 49, 64, 81, 100>> Das ist falsch. Die richtige Antwort ist natürlich:>>> 0, 0, 0, 0, 0
Bei den meisten IQ-Tests wärst du jetzt durchgefallen.
Matthias S. schrieb:> Christoph M. schrieb:>> Es ist also kein stochastischer Papagei:>> Das ist EIN Beispiel.> In der Realität muss ich mich darauf verlassen können - und davon sind> die Antworten weit entfernt.
Hm. Ich glaube, daß Dein Anspruch zu hoch ist. Denn worauf können wir
uns denn schon "verlassen", im Sinne von: felsenfest? Gerade als
Benutzer dieses Forums sollte Dir sicherlich nicht gänzlich unbekannt
sein, daß auch Menschen irren, sogar gar nicht so selten, wie wir es uns
wünschen. Das bedeutet andererseits aber auch, daß alles, was von
Menschen gemacht wird, potentiell fehlerbehaftet ist. Ki-Modell sind
menschengemacht und werden obendrein mit menschengemachten Daten
trainiert, insofern drängt sich die Frage auf, warum Du ausgerechnet bei
diesen Modellen eine fehlerlose Verläßlichkeit erwartest.
Axel S. schrieb:> ist. Oder, wie es mein Kombinatorik-Professor ausdrücken würde:>> "Jede Zahlenreihe, von der nur eine endliche Menge von Anfangswerten> bekannt ist, kann beliebig fortgesetzt werden. Für jede dieser> Fortsetzungen kann eine Gesetzmäßigkeit gefunden werden, die zumindest> für eine endliche Zahl an Fortsetzungen paßt.
Da mag er ja recht haben, außer dass er als Mathe Prof richtigerweise
von Folgen und nicht von Reihen reden sollte.
Trotzdem beschäftigen sich einige Abteilungen der Mathematik genau
damit, dass es Folgen gibt, die eben nicht zufällig sind, sondern einer
bestimmten Logik folgen. Und damit die Bildungsgesetze dieser Folgen
herauszufinden.
Hier im Forum hatte ich wiederholt das Argument des statistischen
Papageis gehört und es wurde schließlich in einem Video
auseinandergenommen:
https://www.youtube.com/watch?app=desktop&v=KpTZbq-eV38&t=240s
Die Möglichkeit, dieses Argument ein- für allemal aus der Welt zu
schaffen ist der Prompt im allerersten Thread und zu sehen, ob das auch
so von den Leuten verstanden wird.
Udo S. schrieb:> Moment, wer hat jetzt den Fehler gemacht? Hast du es nur im Forum falsch> eingetippt, oder hat die KI trotz der "3" am Anfang die Reihe als x²> angenommen?
Die KI hatte trotz der falschen 3 die Reihe als x² angenommen. Ist
vielleicht ein wenig so, wie wenn Rechtschreibfehler von der KI
ignoriert werden. Allerdings muss auch gesagt werden, dass es eben
dieses kleine lokale lfm2.5 Modell war.
Christoph M. schrieb:> Die KI hatte trotz der falschen 3 die Reihe als x² angenommen.
Ach komm, dachte sich die KI, bestimmt meinst du gar nicht ›Rechts‹.
Da lenke ich lieber mal nach ›Links‹.
Christoph M. schrieb:> Die Möglichkeit, dieses Argument ein- für allemal aus der Welt zu> schaffen ist der Prompt im allerersten Thread und zu sehen, ob das auch> so von den Leuten verstanden wird.
Das Problem ist: Was da in Soft- und Hardware für die LLMs implementiert
ist, ist eben dieser stochastische Papagei.
Im Kern immer dasselbe: Text geht rein, läuft durch das LLM, der nächste
Buchstabe fällt raus, du hängst den an den Text an, schickst den
verlängerten Text ins LLM, ... Repeat bis das "ENDE"-Zeichen aus dem LLM
kommt.
Das Prinzip bleibt gleich, auch wenn das LLM erstmal Selbstgespräche
("Thinking-Modus") führt.
Ja, es ist erstaunlich, was dabei herauskommen kann.
Stell z.B. mal die Frage an ein Model mit Reasoning, und schau dir das
"Selbstgespräch" des LLMs an:
>> In der Zahlenreihe 5, 7, 2, 8 hat die 5 einen blauen Geruch,>> die 7 hört sich salzig an, die 2 hat ein eckiges Gewicht und>> die 8 läuft wie eine Primzahl.>> Welchen Geschmack hat die nächste Ziffer?
Ändert aber nichts am Papageien im Inneren, der da unumgänglich hart
reincodiert ist.
Wenn du da wirklich testen willst: Das LLM merkt nicht, ob der
"Thinking-Context" oder der Teil der eigenen Antwort, die fortgesetzt
werden soll, von dir oder dem LLM stammt.
Ändere in der Antwort auf deine Usprungs-Frage mal eine Zahl, während
die Antwort noch nicht fertig ist, und lass die KI daran
weiterarbeiten...
Εrnst B. schrieb:> Das Problem ist: Was da in Soft- und Hardware für die LLMs implementiert> ist, ist eben dieser stochastische Papagei.>> Im Kern immer dasselbe: Text geht rein, läuft durch das LLM, der nächste> Buchstabe fällt raus, du hängst den an den Text an, schickst den> verlängerten Text ins LLM, ... Repeat bis das "ENDE"-Zeichen aus dem LLM> kommt.>> Das Prinzip bleibt gleich, auch wenn das LLM erstmal Selbstgespräche> ("Thinking-Modus") führt.
Meiner Meinung nach ist es schon so, dass durch die verschiedenen
Trainingsdaten, die sich in einerm LLM überlagern und die begrenzte
Genauigkeit der Gewichte zu einer gewissen Unschärfe führen.
Es ist auch so, dass die Erzeugung von Tokens und der Word-Embeddings
aufgrund von Ähnlichkeitsbeziehungen helfen, Rechtschreibfehler zu
ignorieren (deshalb vermutlich auch das ignorieren der falschen 3 am
Anfang der quadratischen Reihe)
Im LLM führt dann die Auswahl des nächsten Tokens am Ausgang des
Feedforward-Netztes nach der Multihead-Attention zu einer gewissen
Zufälligkeit, weil die Auswahl durch den “Temperaturparameter”
beeinflusst wird.
Allerdings sind da auch die Thinking-Trainingsdatasets, die eine klar
programmatische Ablaufstruktur haben.
So was wie "OpenThoughts" scheint noch aktuell zu sein und wird wohl in
der Art auch in die Reasoning-Modelle einfließen:
https://huggingface.co/datasets/open-thoughts/OpenThoughts-114k
Ich freue mich aber auch, wenn jemand tiefer in der Materie ist und dazu
etwas sagen kann.
Christoph M. schrieb:> Meiner Meinung nach ist es schon so, dass durch die verschiedenen> Trainingsdaten, die sich in einerm LLM überlagern und die begrenzte> Genauigkeit der Gewichte zu einer gewissen Unschärfe führen.
Natürlich hast du da eine Unschärfe. Viele TB an Trainingsdaten lassen
sich auch nicht verlustfrei in ein wenige GB großes Modell komprimieren.
Da ist immer Unschärfe, Extrapolation usw. dabei. Statistik eben.
Christoph M. schrieb:> Im LLM führt dann die Auswahl des nächsten Tokens am Ausgang des> Feedforward-Netztes nach der Multihead-Attention zu einer gewissen> Zufälligkeit, weil die Auswahl durch den “Temperaturparameter”> beeinflusst wird.
Sorgt für etwas Varianz in den Antworten, weil auch mal das z.B.
zweitbeste Token gewählt wird, wenn es nicht zuweit vom Besten weg ist.
Wenn zwischendurch (erzwungen) mal ein paar Token gewählt werden, die
komplett daneben liegen (Simulation von "Papagei hat mal
danebengepickt"), fällt das schöne statistische Kartenhaus zusammen:
Auf
USER: x=1234, zeige die nächsten zehn Zahlen, die auf x folgen
ASSISTANT: Hier sind die nächsten zehn natürlichen Zahlen, die auf $x =
1234$ folgen:\n\n1. **1235**\n2. **Blau**"
[Mit reingemogeltem Blau]
Macht das LLM munter weiter: \n3. **Grün**\n4. **Gelb**\n5. **Rot**\n
Leider kann ich nicht sehen, mit welcher Gewichtung die weiteren Token
rausgefallen sind, vermute aber dass die deutlich geringer waren als bei
der originalen Antwort mit 1237,...
Εrnst B. schrieb:> Sorgt für etwas Varianz in den Antworten, weil auch mal das z.B.> zweitbeste Token gewählt wird, wenn es nicht zuweit vom Besten weg ist.
"nicht zu weit" dürfte hier die entscheidende Bedingung sein.
Ich frage folgendes:
1
user@Ryzen7:~$ ollama run lfm2.5:latest
2
3
>>> Wenn man mit Birnen einen Kuchen backt, ist das ein Apfelkuchen?
4
5
Nein, das ist kein Apfelkuchen...
Das kann man auch hundert mal fragen. Die Antwort ist immer "nein" und
ich vermute, dass kann man auch mit anderen Obstsorten. D.h. dieses 1.5B
Modell ist fähig zu abstrahieren und Schlussfolgerungen zu ziehen,
sozusagen "deterministisch".
Christoph M. schrieb:> Die Antwort ist immer "nein"
aber anders formuliert. Dafür ist die temperature da.
>> Nein, wenn man mit **Birnen** einen Kuchen backt, handelt es sich nicht um
einen Apfelkuchen.
>> Nein, wenn man einen Kuchen mit **Birnen** backt, ist er kein Apfelkuchen.
usw. Ab dem dritten Wort waren verschiedene Token ähnlich
wahrscheinlich, das der kleine temperature-Zufallswert den Ausschlag
geben konnte.
mit temperature=0
kommt deterministisch immer derselbe Text raus.
Wenn man dem LLM ein "Ja" als Anfang der Antwort "in den Mund" legt:
1
Ja, im Deutschen wird dieser Kuchen oft als **Apfelkuchen** bezeichnet.
2
Das liegt daran, dass der Begriff „Birne“ (auf Englisch *pear*) und „Apfel“ (auf Englisch *apple*) in vielen Sprachen verwandt sind oder zumindest ähnlich klingen – aber das ist hier nicht die eigentliche Begründung ...
Εrnst B. schrieb:> Christoph M. schrieb:>> Die Antwort ist immer "nein">> aber anders formuliert. Dafür ist die temperature da.
Mich würde interessieren, ob du die LLMs aus reiner API-Sicht
untersuchst oder ob du auch die internen Modellstrukturen und
Spezialtokens betrachtest, die für die Chat-Funktion und das Reasoning
zuständig sind?
Mir ist ein Test eingefallen, wie man überprüfen könnte, wie genau ein
Modell ein Faktum reproduzieren kann. Ein Text, der Wort für Wort
festgelegt ist, ist das deutsche Grundgesetz:
https://www.gesetze-im-internet.de/gg/GG.pdf
Das müsste sich also ziemlich gut verwenden lassen, wenn man wissen
will, wie "wortgetreu" ein LLM einen Text wiedergibt.
Mein kleinstes Modell lfm2.5 phantasiert vollständig. Das Modell
gemma4:12B kommt dem Text aber schon recht nahe:
1
Original GG:
2
============
3
Art 1
4
(1) Die Würde des Menschen ist unantastbar. Sie zu achten und zu schützen ist Verpflichtung aller staatlichen
5
Gewalt.
6
7
gemma
8
======
9
user@Ryzen7:~$ ollama run gemma4:12b
10
>>> Was steht in Artikel 1 des Grundgesetzes
11
12
Artikel 1 des Grundgesetzes (GG) ist die grundlegende Bestimmung der
13
deutschen Verfassung. Er bildet das Fundament für alle weiteren Rechte und
14
Freiheiten.
15
16
Der Kernsatz lautet:
17
> **„Die Würde des Menschen ist unantastbar.“**
18
19
Hier ist der vollständige Text von Artikel 1 im Überblick:
20
21
* **Absatz 1:** „Die Würde des Menschen ist unantastbar. Sie
22
zuwidernefendes Handeln eines Staates oder dessen Organen ist verboten.
23
Niemen darf zum bloßen Objekt staatlichen Handelns gemacht werden.“
Christoph M. schrieb:> * **Absatz 1:** „Die Würde des Menschen ist unantastbar. Sie> zuwidernefendes Handeln eines Staates oder dessen Organen ist verboten.> Niemen darf zum bloßen Objekt staatlichen Handelns gemacht werden.“
Perfekt. Hätte ich nach einer Flasche Mccallan auch nicht besser
hinbekommen.
Christoph M. schrieb:> Mich würde interessieren, ob du die LLMs aus reiner API-Sicht> untersuchst oder ob du auch die internen Modellstrukturen und> Spezialtokens betrachtest, die für die Chat-Funktion und das Reasoning> zuständig sind?
An diesen Spezialtokens ist nicht viel dran, die fallen nur manchmal auf
wenn sie nicht korrekt generiert wurden, und der Parser nachher die
Chat-Ansicht oder API-Antwort durcheinanderbringt.
Müssen natürlich in ollama passend zu dem konfiguriert sein, wie das
Modell trainiert wurde.
qwen hat "<think>" "</think>" "<tool_call>"
lfm auch "<think>", aber "<|tool_call_start|>"
Gemma verwendet "<|channel>" und "<channel|> als Thinking-Tags
usw.
die Ollama-API filtert die aus dem Token-Stream schon entsprechend raus,
und bastelt die Antwort in eine Json-Struktur, damit man sich um diese
Details nicht mehr kümmern muss.
Thread beobachten
Seitenaufteilung abschalten