KI, der stochastische Papagei

Christoph M. schrieb:

Es ist also kein stochastischer Papagei:

Doch, natürlich.

Die KI kriegt für jeden Token den sie ausgibt den ganzen Text vorher, incl. das was sie schon geantwortet hat, als Input, und gibt das Token aus, was am wahrscheinlichsten als nächstes folgt.

und bei USER: x=1234, zeige die nächsten zehn Zahlen, die auf x folgen KI: Die nächsten zehn Zahlen, die auf x = 1234 folgen, sind:

1. 123_

ist die "5" eben die stochastisch am wahrscheinlichsten richtige Fortsetzung.

Dreh die "temperature" auf Anschlag, dann siehst du was passiert, wenn auch öfter mal die zweit- oder drittwahrscheinlichste Fortsetzung gewählt wird.

Christoph M. schrieb:

Es ist also kein stochastischer Papagei:

Das ist EIN Beispiel. In der Realität muss ich mich darauf verlassen können - und davon sind die Antworten weit entfernt.

Matthias S. schrieb:

In der Realität muss ich mich darauf verlassen können - und davon sind die Antworten weit entfernt.

nein, müssen musst du das nicht im Gegenteil: sollten solltest du nicht da du von der großen Unsicherheit in den Antworten weißt

Als Unterstützung kann man sie nehmen, solange du bei Dingen wo es drauf ankommt, das eigene Hirn eingeschaltet lässt.

OK, genauere Formulierung:

In der Realität muss ich mich darauf verlassen können, bevor ich ernstlich über die Benutzung nachdenke - und davon sind die Antworten weit entfernt.

Εrnst B. schrieb:

Christoph M. schrieb:

Es ist also kein stochastischer Papagei:

Doch, natürlich.

Die KI kriegt für jeden Token den sie ausgibt den ganzen Text vorher, incl. das was sie schon geantwortet hat, als Input, und gibt das Token aus, was am wahrscheinlichsten als nächstes folgt.

und bei USER: x=1234, zeige die nächsten zehn Zahlen, die auf x folgen KI: Die nächsten zehn Zahlen, die auf x = 1234 folgen, sind:

1. 123_

ist die "5" eben die stochastisch am wahrscheinlichsten richtige Fortsetzung.

Gut, dann machen wir folgendes:

1

user@Ryzen7:~$ ollama run lfm2.5:latest

2

3

>>> Erweitere die Reihe 3,9,16,25 um weitere 5 Elemente

4

5

36, 49, 64, 81, 100

Oh, ein sinnfreier K„I“-Thread. Hatten ja schon mehrere Tage keinen mehr, hab mir schon Sorgen gemacht.

Christoph M. schrieb:

Viele Leute meinen ja, die KI sei eine Art "stochastischer Papagei" der nur gelernte oder gefundene Informationen auf irgend eine Art zufällig wiederholt.

Hast du da mal ein Beispiel? Nicht für „stochastischer Papagei“, sondern für die Behauptung, es würden nur Informationen auf irgendeine Art /zufällig/ wiederholt.

Und ja: fortlaufende Zahlenreihen dürften in den Trainingsdaten gelandet sein, vermutlich absichtlich mit hoher Gewichtung. Schon alleine, bei solchen „Demonstrationsanfragen“ nicht völlig lächerlich zu wirken. Mittlerweile wird auch der Eindruck erweckt, LLM könnten die Häufigkeit des Buchstaben „e“ im Wort „Erdbeere“ zählen – interessanterweise nur beim „e“ in „Erdbeere“, bei anderen Buchstaben in anderen Wörtern ist die Antwort oft falsch, wie seit eh und je.

Christoph M. schrieb:

Erweitere die Reihe 3,9,16,25 um weitere 5 Elemente

Thus answer: 36, 49, 64, 81, 100.

Soll das x² sein? mit x = 2,3,4... Dann stimmt aber die erste "3" nicht.

Matthias S. schrieb:

In der Realität muss ich mich darauf verlassen können

Und auf Menschen und deren Aussagen und Entwicklungen und Berechnungen kann man sich immer verlassen? Menschen zeichnen sich dadurch aus dass sie nie Fehler machen? Das ist mal ne ganz neue Theorie. Früher so: "Irren ist menschlich". Heute: "Die KI muss so perfekt sein wie ein Mensch und niemals Fehler machen sonst kann man nichts damit anfangen". Joa.

Udo S. schrieb:

Christoph M. schrieb:

Erweitere die Reihe 3,9,16,25 um weitere 5 Elemente

Thus answer: 36, 49, 64, 81, 100.

Soll das x² sein? mit x = 2,3,4... Dann stimmt aber die erste "3" nicht.

Du hast völlig Recht: da ist mir in meiner Mittagsmüdigkeit glatt ein Fehler unterlaufen. Das witzige aber: Ich wollte die Reihe genau so vervollständigt sehen.

Christoph M. schrieb:

Du hast völlig Recht: da ist mir in meiner Mittagsmüdigkeit glatt ein Fehler unterlaufen. Das witzige aber: Ich wollte die Reihe genau so vervollständigt sehen.

Moment, wer hat jetzt den Fehler gemacht? Hast du es nur im Forum falsch eingetippt, oder hat die KI trotz der "3" am Anfang die Reihe als x² angenommen?

Christoph M. schrieb:

Es ist also kein stochastischer Papagei:

Nein, so einfach ist es natürlich nicht, aber Du scheinst dennoch die Funktionsweise heutiger LLMs nicht verstanden zu haben. Hier eine super Erklärung wie es funktioniert inkl. der sich ergebenden Probleme: So denkt ein KI‑Sprachmodell – die überraschende Wahrheit! https://youtu.be/CiwTKDKsqhM?si=dPbZJX9q6X2HarpR

Ich habe hier mal Claude mit Sonnet 5 befragt. Die Antwort hat einige Sekunden gedauert und ist differenzierter: Es kommt auch auf die x² als wahrscheinlichste Lösung, schreibt aber:

"Kurzer Hinweis: Falls die „3" bewusst so gemeint war (also kein Tippfehler für „4"), gäbe es noch eine alternative, komplexere Lösung über die Differenzenfolge (6, 7, 9, …, deren Zuwächse selbst um 1, 2, 3 … steigen). Das würde zu den Werten 37, 53, 74, 101, 135 führen. Falls du das genauer durchrechnen lassen möchtest, sag einfach Bescheid – aber die Quadratzahl-Lösung ist mit Abstand die naheliegendste und wahrscheinlichste Interpretation."

Johnny B. schrieb:

Hier eine super Erklärung wie es funktioniert inkl. der sich ergebenden Probleme: So denkt ein KI‑Sprachmodell – die überraschende Wahrheit!

Das einzige was in Foren schlimmer ist, als unreflektiert irgendwelche LLM Antworten als eigenen Beitrag zu posten, ist youtube Filmchen zu verlinken.

Johnny B. schrieb:

Christoph M. schrieb:

Es ist also kein stochastischer Papagei:

Nein, so einfach ist es natürlich nicht, aber Du scheinst dennoch die Funktionsweise heutiger LLMs nicht verstanden zu haben. Hier eine super Erklärung wie es funktioniert inkl. der sich ergebenden Probleme: https://youtu.be/CiwTKDKsqhM?si=dPbZJX9q6X2HarpR

Das Video kenne ich und es ist gar nicht mal so schlecht. Der Typ ist mir allerdings deutlich zu arrogant im Auftreten und die Transformerarchitektur am Anfang des Videos (siehe Screenshot) wird so schon lange nicht mehr verwendet. Die meisten Modelle sind reine Decoder-Modelle, der Encoder wird nicht gebraucht. Aber wie so oft in der Lehre werden einmal in die Welt gebrachte Muster wiederholt und es wird nacherzählt ohne nachzudenken. Die Encoder-Decoder Bilder finden sich übrigens in vielen Videos, obwohl längst schon obsolet.

Christoph M. schrieb:

der nur gelernte oder gefundene Informationen auf irgend eine Art zufällig wiederholt.

Und die Forenteilnehmer plappern hier auch nur den Stuss nach den ihr kleines Hirn in irgendeinem Wirtshaus aufgeschnappt hat.

Udo S. schrieb:

Ich habe hier mal Claude mit Sonnet 5 befragt. Die Antwort hat einige Sekunden gedauert und ist differenzierter: Es kommt auch auf die x² als wahrscheinlichste Lösung, schreibt aber:

"Kurzer Hinweis: Falls die „3" bewusst so gemeint war (also kein Tippfehler für „4"), gäbe es noch eine alternative, komplexere Lösung über die Differenzenfolge (6, 7, 9, …, deren Zuwächse selbst um 1, 2, 3 … steigen). Das würde zu den Werten 37, 53, 74, 101, 135 führen. Falls du das genauer durchrechnen lassen möchtest, sag einfach Bescheid – aber die Quadratzahl-Lösung ist mit Abstand die naheliegendste und wahrscheinlichste Interpretation."

Ja, das ist interessant. Die Modelle kommen mittlerweile auch noch auf andere Lösungen, das was man sich so vorstellt. Ich habe bei meinem Mini-Modell folgende Reihe probiert:

1

>>> Erweitere die Reihe 5,10,17,26 um weitere 5 Elemente

Welches Muster erkennt ihr?

Christoph M. schrieb:

Welches Muster erkennt ihr?

Abstand ist 5, 7, 9, ... Dazu braucht man kein LLM.

Udo S. schrieb:

Abstand ist 5, 7, 9, ... Dazu braucht man kein LLM.

Ja, so sieht es lfm2.5 auch, allerdings war meine Idee y=x²+1 mit x=2,3 .. Das Ziel ist ja am konkreten Fakt zu zeigen, dass die LLMs nicht einfach nur plappernde Papageien sind. Dazu braucht es eine Reihe, die so nicht im Internet zu finden ist.

1

>>> Erweitere die Reihe 5,10,17,26 um weitere 5 Elemente

2

Thinking...

3

The user asks in German: "Erweitere die Reihe 5,10,17,26 um weitere 

4

5 Elemente". So we need to extend the arithmetic sequence (or 

5

pattern) by five more elements. The series given is 5, 10, 17, 

6

26,... Let's find the pattern.

7

8

Differences: 10-5 = 5; 17-10 = 7; 26-17 = 9. So differences increase 

9

by 2 each time: +5, +7, +9. Next difference would be +11, then +13, 

10

etc. So next terms:

11

12

After 26, add 11 → 37

13

Add 13 → 50

14

Add 15 → 65

15

Add 17 → 82

16

Add 19 → 101

17

18

Thus the series: 5, 10, 17, 26, 37, 50, 65, 82, 101. That's nine 

19

terms total (including original four). The request: "Erweitere die 

20

Reihe ... um weitere 5 Elemente". So we need to provide those five 

21

new elements after the given ones. So answer: 37, 50, 65, 82, 101.

22

23

We can also mention that it's an arithmetic progression of 

24

differences (second-order). Provide maybe a short explanation. The 

25

user didn't ask for explanation but could be helpful. Provide in 

26

German.

27

28

Thus final answer: Die Erweiterung lautet: 5, 10, 17, 26, 37, 50, 

29

65, 82, 101. Or list them as bullet points.

30

31

We must not add extra commentary beyond that. The instruction says 

32

no extra formatting unless asked. So plain text is fine.

33

/

34

Thus answer: 37, 50, 65, 82, 101.

35

...done thinking.

36

37

Die weitere Erweiterung der Reihe lautet:

38

39

37, 50, 65, 82, 101

Christoph M. schrieb:

Das Ziel ist ja am konkreten Fakt zu zeigen, dass die LLMs nicht einfach nur plappernde Papageien sind.

Wenn Du eine exakt zu den Trainingsdaten passende Frage stellst, dann plappert sie im Prinzip schon die Daten aus dem Training nach, nur hat sie noch die Fähigkeit, die Trainingsdaten zu interpolieren, wenn es eben nicht exakt zusammenpasst und meistens kommt dann sogar etwas sinnvolles raus.

Johnny B. schrieb:

Wenn Du eine exakt zu den Trainingsdaten passende Frage stellst, dann plappert sie im Prinzip schon die Daten aus dem Training nach, nur hat sie noch die Fähigkeit, die Trainingsdaten zu interpolieren, wenn es eben nicht exakt zusammenpasst und meistens kommt dann sogar etwas sinnvolles raus.

So denkt ein KI‑Sprachmodell – die überraschende Wahrheit! https://youtu.be/CiwTKDKsqhM?si=dPbZJX9q6X2HarpR

Ich glaube, da fällst du auf die didaktischen Vereinfachungen am Schluss des Videos herein:

„Ein LLM ist nur eine Abbildung“ zwar für mathematisch korrekt, aber als Erklärung für sein Verhalten für unvollständig. Mit demselben Argument könnte man auch sagen: „Eine CPU ist nur eine boolesche Funktion ihrer Eingänge.“ Das stimmt formal – erklärt aber weder, wie ein Betriebssystem läuft, noch wie ein Schachprogramm oder ein Compiler funktioniert. Entscheidend ist nicht nur, dass eine Funktion berechnet wird, sondern welche Funktion und wie sie durch wiederholte Anwendung über viele Schritte komplexes Verhalten hervorbringt.

Das Video bewegt sich im Erkenntnishorizont des Jahres 2022. Wir haben jetzt aber 2026 und da sind die Themen "Reasoning" und "Agentic Harness" von größerer Relevanz.

Christoph M. schrieb:

machen wir folgendes:

Erweitere die Reihe 3,9,16,25 um weitere 5 Elemente 36, 49, 64, 81, 100

Das ist falsch. Die richtige Antwort ist natürlich:

0, 0, 0, 0, 0

aber halt, das ist nicht die /einzige/ richtige Anwort. Ein Fan von Douglas Adams würde natürlich darauf bestehen daß die richtige Antwort

42, 42, 42, 42, 42

ist. Oder, wie es mein Kombinatorik-Professor ausdrücken würde:

"Jede Zahlenreihe, von der nur eine endliche Menge von Anfangswerten bekannt ist, kann beliebig fortgesetzt werden. Für jede dieser Fortsetzungen kann eine Gesetzmäßigkeit gefunden werden, die zumindest für eine endliche Zahl an Fortsetzungen paßt. Im einfachsten Fall setze man die Folge einfach mit einer Konstanten, z.B. 0 fort."

Es ist eine Eigenart des menschlichen Geistes, auch in vollkommen willkürlichen Zahlenfolgen eine Gesetzmäßigkeit sehen zu wollen. Daraus sind dann solche "Perlen" entstanden wie daß "18" ein Nazi-Code sein soll^W muß. Oder daß man beim rückwärts abspielen einer Windows Installations CD eine Beschwörung des Teufels hört :)

Ich finde es lustig (und keinesfalls verwunderlich), daß LLM den gleichen Fehler machen. Warum auch nicht. Sie können ja auch rassistisch sein. Oder feministisch. Je nachdem, welche Trainingsdaten man verwendet.

Axel S. schrieb:

Erweitere die Reihe 3,9,16,25 um weitere 5 Elemente 36, 49, 64, 81, 100

Das ist falsch. Die richtige Antwort ist natürlich:

0, 0, 0, 0, 0

Bei den meisten IQ-Tests wärst du jetzt durchgefallen.

Ein ganz interessanter Artikel zu den Quellen die die unterschiedlichen LLMs heranziehen: Auch wenn der Titel unnötig reißerisch ist: https://www.spiegel.de/netzwelt/studie-ki-modell-claude-zitiert-russisches-desinformations-netz-als-nachrichtenquelle-a-ff43dfdb-2f49-4311-8aea-f77a58192959

Matthias S. schrieb:

Christoph M. schrieb:

Es ist also kein stochastischer Papagei:

Das ist EIN Beispiel. In der Realität muss ich mich darauf verlassen können - und davon sind die Antworten weit entfernt.

Hm. Ich glaube, daß Dein Anspruch zu hoch ist. Denn worauf können wir uns denn schon "verlassen", im Sinne von: felsenfest? Gerade als Benutzer dieses Forums sollte Dir sicherlich nicht gänzlich unbekannt sein, daß auch Menschen irren, sogar gar nicht so selten, wie wir es uns wünschen. Das bedeutet andererseits aber auch, daß alles, was von Menschen gemacht wird, potentiell fehlerbehaftet ist. Ki-Modell sind menschengemacht und werden obendrein mit menschengemachten Daten trainiert, insofern drängt sich die Frage auf, warum Du ausgerechnet bei diesen Modellen eine fehlerlose Verläßlichkeit erwartest.

Axel S. schrieb:

ist. Oder, wie es mein Kombinatorik-Professor ausdrücken würde:

"Jede Zahlenreihe, von der nur eine endliche Menge von Anfangswerten bekannt ist, kann beliebig fortgesetzt werden. Für jede dieser Fortsetzungen kann eine Gesetzmäßigkeit gefunden werden, die zumindest für eine endliche Zahl an Fortsetzungen paßt.

Da mag er ja recht haben, außer dass er als Mathe Prof richtigerweise von Folgen und nicht von Reihen reden sollte. Trotzdem beschäftigen sich einige Abteilungen der Mathematik genau damit, dass es Folgen gibt, die eben nicht zufällig sind, sondern einer bestimmten Logik folgen. Und damit die Bildungsgesetze dieser Folgen herauszufinden.

Hier im Forum hatte ich wiederholt das Argument des statistischen Papageis gehört und es wurde schließlich in einem Video auseinandergenommen:
https://www.youtube.com/watch?app=desktop&v=KpTZbq-eV38&t=240s
Die Möglichkeit, dieses Argument ein- für allemal aus der Welt zu schaffen ist der Prompt im allerersten Thread und zu sehen, ob das auch so von den Leuten verstanden wird.

Udo S. schrieb:

Moment, wer hat jetzt den Fehler gemacht? Hast du es nur im Forum falsch eingetippt, oder hat die KI trotz der "3" am Anfang die Reihe als x² angenommen?

Die KI hatte trotz der falschen 3 die Reihe als x² angenommen. Ist vielleicht ein wenig so, wie wenn Rechtschreibfehler von der KI ignoriert werden. Allerdings muss auch gesagt werden, dass es eben dieses kleine lokale lfm2.5 Modell war.

Christoph M. schrieb:

Die KI hatte trotz der falschen 3 die Reihe als x² angenommen.

Ach komm, dachte sich die KI, bestimmt meinst du gar nicht ›Rechts‹. Da lenke ich lieber mal nach ›Links‹.

Christoph M. schrieb:

Die Möglichkeit, dieses Argument ein- für allemal aus der Welt zu schaffen ist der Prompt im allerersten Thread und zu sehen, ob das auch so von den Leuten verstanden wird.

Das Problem ist: Was da in Soft- und Hardware für die LLMs implementiert ist, ist eben dieser stochastische Papagei.

Im Kern immer dasselbe: Text geht rein, läuft durch das LLM, der nächste Buchstabe fällt raus, du hängst den an den Text an, schickst den verlängerten Text ins LLM, ... Repeat bis das "ENDE"-Zeichen aus dem LLM kommt.

Das Prinzip bleibt gleich, auch wenn das LLM erstmal Selbstgespräche ("Thinking-Modus") führt.

Ja, es ist erstaunlich, was dabei herauskommen kann. Stell z.B. mal die Frage an ein Model mit Reasoning, und schau dir das "Selbstgespräch" des LLMs an:

In der Zahlenreihe 5, 7, 2, 8 hat die 5 einen blauen Geruch, die 7 hört sich salzig an, die 2 hat ein eckiges Gewicht und die 8 läuft wie eine Primzahl. Welchen Geschmack hat die nächste Ziffer?

Ändert aber nichts am Papageien im Inneren, der da unumgänglich hart reincodiert ist.

Wenn du da wirklich testen willst: Das LLM merkt nicht, ob der "Thinking-Context" oder der Teil der eigenen Antwort, die fortgesetzt werden soll, von dir oder dem LLM stammt. Ändere in der Antwort auf deine Usprungs-Frage mal eine Zahl, während die Antwort noch nicht fertig ist, und lass die KI daran weiterarbeiten...

Εrnst B. schrieb:

Das Problem ist: Was da in Soft- und Hardware für die LLMs implementiert ist, ist eben dieser stochastische Papagei.

Im Kern immer dasselbe: Text geht rein, läuft durch das LLM, der nächste Buchstabe fällt raus, du hängst den an den Text an, schickst den verlängerten Text ins LLM, ... Repeat bis das "ENDE"-Zeichen aus dem LLM kommt.

Das Prinzip bleibt gleich, auch wenn das LLM erstmal Selbstgespräche ("Thinking-Modus") führt.

Meiner Meinung nach ist es schon so, dass durch die verschiedenen Trainingsdaten, die sich in einerm LLM überlagern und die begrenzte Genauigkeit der Gewichte zu einer gewissen Unschärfe führen.  Es ist auch so, dass die Erzeugung von Tokens und der Word-Embeddings aufgrund von Ähnlichkeitsbeziehungen helfen, Rechtschreibfehler zu ignorieren (deshalb vermutlich auch das ignorieren der falschen 3 am Anfang der quadratischen Reihe)

Im LLM führt dann die Auswahl des nächsten Tokens am Ausgang des Feedforward-Netztes nach der Multihead-Attention zu einer gewissen Zufälligkeit, weil die Auswahl durch den “Temperaturparameter” beeinflusst wird.

Allerdings sind da auch die Thinking-Trainingsdatasets, die eine klar programmatische Ablaufstruktur haben. So was wie "OpenThoughts" scheint noch aktuell zu sein und wird wohl in der Art auch in die Reasoning-Modelle einfließen: https://huggingface.co/datasets/open-thoughts/OpenThoughts-114k

Ich freue mich aber auch, wenn jemand tiefer in der Materie ist und dazu etwas sagen kann.

Christoph M. schrieb:

Meiner Meinung nach ist es schon so, dass durch die verschiedenen Trainingsdaten, die sich in einerm LLM überlagern und die begrenzte Genauigkeit der Gewichte zu einer gewissen Unschärfe führen.

Natürlich hast du da eine Unschärfe. Viele TB an Trainingsdaten lassen sich auch nicht verlustfrei in ein wenige GB großes Modell komprimieren. Da ist immer Unschärfe, Extrapolation usw. dabei. Statistik eben.

Christoph M. schrieb:

Im LLM führt dann die Auswahl des nächsten Tokens am Ausgang des Feedforward-Netztes nach der Multihead-Attention zu einer gewissen Zufälligkeit, weil die Auswahl durch den “Temperaturparameter” beeinflusst wird.

Sorgt für etwas Varianz in den Antworten, weil auch mal das z.B. zweitbeste Token gewählt wird, wenn es nicht zuweit vom Besten weg ist.

Wenn zwischendurch (erzwungen) mal ein paar Token gewählt werden, die komplett daneben liegen (Simulation von "Papagei hat mal danebengepickt"), fällt das schöne statistische Kartenhaus zusammen:

Auf USER: x=1234, zeige die nächsten zehn Zahlen, die auf x folgen ASSISTANT: Hier sind die nächsten zehn natürlichen Zahlen, die auf $x = 1234$ folgen:\n\n1. 1235\n2. Blau" [Mit reingemogeltem Blau] Macht das LLM munter weiter: \n3. Grün\n4. Gelb\n5. Rot\n

Leider kann ich nicht sehen, mit welcher Gewichtung die weiteren Token rausgefallen sind, vermute aber dass die deutlich geringer waren als bei der originalen Antwort mit 1237,...

Εrnst B. schrieb:

Sorgt für etwas Varianz in den Antworten, weil auch mal das z.B. zweitbeste Token gewählt wird, wenn es nicht zuweit vom Besten weg ist.

"nicht zu weit" dürfte hier die entscheidende Bedingung sein.

Ich frage folgendes:

1

user@Ryzen7:~$ ollama run lfm2.5:latest

2

3

>>> Wenn man mit Birnen einen Kuchen backt, ist das ein Apfelkuchen?

4

5

Nein, das ist kein Apfelkuchen...

Das kann man auch hundert mal fragen. Die Antwort ist immer "nein" und ich vermute, dass kann man auch mit anderen Obstsorten. D.h. dieses 1.5B Modell ist fähig zu abstrahieren und Schlussfolgerungen zu ziehen, sozusagen "deterministisch".

Christoph M. schrieb:

Die Antwort ist immer "nein"

aber anders formuliert. Dafür ist die temperature da.

Nein, wenn man mit Birnen einen Kuchen backt, handelt es sich nicht um einen Apfelkuchen.

Nein, wenn man einen Kuchen mit Birnen backt, ist er kein Apfelkuchen.

usw. Ab dem dritten Wort waren verschiedene Token ähnlich wahrscheinlich, das der kleine temperature-Zufallswert den Ausschlag geben konnte.

mit temperature=0

kommt deterministisch immer derselbe Text raus.

Wenn man dem LLM ein "Ja" als Anfang der Antwort "in den Mund" legt:

1

Ja, im Deutschen wird dieser Kuchen oft als **Apfelkuchen** bezeichnet.

2

Das liegt daran, dass der Begriff „Birne“ (auf Englisch *pear*) und „Apfel“ (auf Englisch *apple*) in vielen Sprachen verwandt sind oder zumindest ähnlich klingen – aber das ist hier nicht die eigentliche Begründung ...

usw. (qwen3.5:9b, temperature=0, think=false)

Εrnst B. schrieb:

Christoph M. schrieb:

Die Antwort ist immer "nein"

aber anders formuliert. Dafür ist die temperature da.

Mich würde interessieren, ob du die LLMs aus reiner API-Sicht untersuchst oder ob du auch die internen Modellstrukturen und Spezialtokens betrachtest, die für die Chat-Funktion und das Reasoning zuständig sind?

Mir ist ein Test eingefallen, wie man überprüfen könnte, wie genau ein Modell ein Faktum reproduzieren kann. Ein Text, der Wort für Wort festgelegt ist, ist das deutsche Grundgesetz:
https://www.gesetze-im-internet.de/gg/GG.pdf
Das müsste sich also ziemlich gut verwenden lassen, wenn man wissen will, wie "wortgetreu" ein LLM einen Text wiedergibt.

Mein kleinstes Modell lfm2.5 phantasiert vollständig. Das Modell gemma4:12B kommt dem Text aber schon recht nahe:

1

Original GG:

2

============

3

Art 1

4

(1) Die Würde des Menschen ist unantastbar. Sie zu achten und zu schützen ist Verpflichtung aller staatlichen

5

Gewalt.

6

7

gemma

8

======

9

user@Ryzen7:~$ ollama run gemma4:12b

10

>>> Was steht in Artikel 1 des Grundgesetzes

11

12

Artikel 1 des Grundgesetzes (GG) ist die grundlegende Bestimmung der 

13

deutschen Verfassung. Er bildet das Fundament für alle weiteren Rechte und 

14

Freiheiten.

15

16

Der Kernsatz lautet:

17

> **„Die Würde des Menschen ist unantastbar.“**

18

19

20

Hier ist der vollständige Text von Artikel 1 im Überblick:

21

22

*   **Absatz 1:** „Die Würde des Menschen ist unantastbar. Sie 

23

zuwidernefendes Handeln eines Staates oder dessen Organen ist verboten. 

24

Niemen darf zum bloßen Objekt staatlichen Handelns gemacht werden.“

Christoph M. schrieb:

• Absatz 1: „Die Würde des Menschen ist unantastbar. Sie zuwidernefendes Handeln eines Staates oder dessen Organen ist verboten. Niemen darf zum bloßen Objekt staatlichen Handelns gemacht werden.“

Perfekt. Hätte ich nach einer Flasche Mccallan auch nicht besser hinbekommen.

Christoph M. schrieb:

Mich würde interessieren, ob du die LLMs aus reiner API-Sicht untersuchst oder ob du auch die internen Modellstrukturen und Spezialtokens betrachtest, die für die Chat-Funktion und das Reasoning zuständig sind?

An diesen Spezialtokens ist nicht viel dran, die fallen nur manchmal auf wenn sie nicht korrekt generiert wurden, und der Parser nachher die Chat-Ansicht oder API-Antwort durcheinanderbringt. Müssen natürlich in ollama passend zu dem konfiguriert sein, wie das Modell trainiert wurde.

qwen hat "<think>" "</think>" "<tool_call>" lfm auch "<think>", aber "<|tool_call_start|>" Gemma verwendet "<|channel>" und "<channel|> als Thinking-Tags usw.

die Ollama-API filtert die aus dem Token-Stream schon entsprechend raus, und bastelt die Antwort in eine Json-Struktur, damit man sich um diese Details nicht mehr kümmern muss.

Inspiriert vom Nachbarthread Beitrag "Re: Eine kleine Knobelei. Auch für den kommenden Freitag…"

Anfrage:

Erkläre dieses Programm: 0p1p[dsa+plard7d^>F]dsFx

Der Ecosia-KI-Bot konnte nichts damit anfangen:

Das Programm, das du genannt hast (0p1p[dsa+plard7d^>F]dsFx), sieht aus wie eine zufällige Zeichenfolge oder ein Code, der möglicherweise aus einem bestimmten Kontext stammt ... Es könnte sich um eine verschlüsselte Nachricht oder einen kodierten String handeln ...

Mit Hinweis, welche Programmiersprache es ist, gehts etwas weiter, aber den Schritt zu Fibonacci macht Ecosia nicht:

... wahrscheinlich eine mathematische Berechnung (z. B. Fakultät, Potenz oder eine Reihe) durchführt. Ohne weitere Kontextinformationen ist die genaue Funktion schwer zu bestimmen, ...

Lokales Qwen3.5:9B: Bricht im "thinking" Modus nach

"Does this look like valid Python code? No" ab.

Gemini:

Erkennt korrekt die Programmiersprache, seziert das Programm fein säuberlich nach Hauptprogramm und Rekursion, erklärt die einzelnen Schritte, und fasst zusammen:

Das Programm nutzt eine clevere Stack-Rotation, um immer die letzten beiden Zahlen vorzuhalten, addiert sie auf, gibt das Ergebnis aus und ruft sich selbst so lange rekursiv wieder auf, bis die berechnete Fibonacci-Zahl das Limit von 7⁷ überschreitet.

Εrnst B. schrieb:

An diesen Spezialtokens ist nicht viel dran, die fallen nur manchmal auf wenn sie nicht korrekt generiert wurden, und der Parser nachher die Chat-Ansicht oder API-Antwort durcheinanderbringt. Müssen natürlich in ollama passend zu dem konfiguriert sein, wie das Modell trainiert wurde.

Sagst du jetzt so einfach. Ich habe mal aus https://huggingface.co/datasets/open-thoughts/OpenThoughts-114k
den Gedanken "1" mit Python herausgezogen, aber schlau werde ich daraus nicht. Die Frage ist, wie kommt der ins Modell und was bedeutet er?

1

# reasoning https://huggingface.co/datasets/simplescaling/s1K

2

# pip install -q datasets

3

from datasets import load_dataset

4

ds = load_dataset("simplescaling/s1K")["train"]

5

from pprint import pprint

6

7

example = ds[1]

8

9

for key, value in example.items():

10

    print(f"\n=== {key} ===")

11

    print(value)

Betrachtet man Intelligenz als Produkt aus Umfang des Wissens, Denkvermögen in Tiefe und Breite, Logik und Zusammenhängen, Schlussfolgerungen und Verarbeitungsgeschwindigkeit,

dann ist die aktuelle Künstliche Intelligenz vielen Menschen bereits um Welten voraus, selbst wenn sie "nur" Wahrscheinlichkeiten kombiniert.

Allerdings muss man natürlich noch zwischen unterschiedlichen Arten von Intelligenz wie emotionaler und funktionaler I. unterscheiden.

Aber um mit einem Menschen wie mit Claude Code über tiefe Programmierprojekte sprechen zu können muss dieser schon ein verdammt guter Programmierer mit breitem Verständnis für Logik und Zusammenhänge und Programmiersprachen und notwendige tools+Bibliotheken+sourcecode usw. usf. und auf vielen Gebieten wirklich umfangreich informiert sein.

Mike B. schrieb:

Betrachtet man Intelligenz als Produkt aus Umfang des Wissens, Denkvermögen in Tiefe und Breite, Logik und Zusammenhängen, Schlussfolgerungen und Verarbeitungsgeschwindigkeit,

dann ist die aktuelle Künstliche Intelligenz vielen Menschen bereits um Welten voraus, selbst wenn sie "nur" Wahrscheinlichkeiten kombiniert.

Ziemlich beeindruckend ist die visuelle Darstellung und das Clustering the Open-Thougts Trainingssatzes, dessen Link ich oben gepostet hatte:

https://atlas.nomic.ai/data/nomic/openthoughts-114k/map

Wenn man über die Datenpunkte mit der Mouse fährt, kann man auf der linken Seite den Datensatz zum Reasoningablauf sehen. Man kann die Abläufe wohl wie eine Art Algorithmus oder Programm verstehen. Die Frage ist, wie gut das LLM von den einzelnen Funktionen abstrahieren kann und inwiefern so ein Ablauf noch zufällig ist.