lokale KI Experiment auf altem (LLM)

[Christoph M. (mchris)]

Man kann auf einem älteren Rechner ohne Graphikkarte ein ziemlich 
einfach ein lokales LLM laufen lassen.
Beitrag "Re: Erfahrungen mit AI-Coding"
Weil mein Rechner schon etwas älter ist, habe ich ein heutzutage 
ziemlich kleines Modell mit unter 1GB Parameter installiert.
Ich erwarte nicht, dass das Modell etwas nützliches produzieren kann, 
aber es ist relativ spannend damit zu spielen. Man kann es gibt auch 
Einstellparameter, die man sichtbar machen und verändern kann.

>>> /show info
  Model
    architecture        qwen35     
    parameters          873.44M    
    context length      262144     
    embedding length    1024       
    quantization        Q8_0       
    requires            0.17.1     

  Capabilities
    completion    
    vision        
    tools         
    thinking      

  Parameters
    top_k               20      
    top_p               0.95    
    presence_penalty    1.5     
    temperature         1       

  License
    Apache License               
    Version 2.0, January 2004    
    ...

Man versteht auch anhand der Parameteraufzählung ein wenig, wie man das 
Modell beeinflussen kann, was ja bei der Benutzung von ChatGPT oder 
ähnlichen nicht so klar ist.

Irgendwie kann es trotz der geringen Größe auch etwas Deutsch. Wenn man 
aber die Frage stellt "Sprichst Du Deutsch" verrennt es sich in einer 
Schleife und überlegt, ob es jetzt auf Deutsch antworten soll oder die 
Frage mit "Ja" beantworten (man kann den Überlegungen zusehen, weil der 
Prozess visualisiert wird).

Setzt man den Parameter

/set nothink

antwortet es schnell
"Ja, ich spreche Deutsch. Was kann ich heute Ihnen helfen?"

und auf die Frage "Kannst du den Satz "Wann haben die Römer gelebt?" auf 
Englsich übersetzen?"

eigentlich ganz gut mit
"When did the Romans live?"

Vielleicht will von euch auch mal jemand mit dem Modell (oder einem 
ähnlichen) spielen und die Erfahrungen mitteilen.

[Christoph M. (mchris)]

Krass: Wie bei den "Capabilities" im Eingangspost sieht, soll das Modell 
auch irgendwie "Vision" können.

Ich habe es mal mit einem Katzenbild getestet.
Das Problem: Man kann das Bild scheinbar nicht so einfach an ollama 
übergeben.

Es geht folgendermaßen:

Ollama in einem Fenster starten:

ollama run qwen3.5:0.8b

Dann in einem anderen Fenster das Bild in b64-Codierung umwandeln

IMG=$(base64 -w 0 cat.png)

und per curl an ollama übergeben

curl http://localhost:11434/api/chat \
  -H "Content-Type: application/json" \
  -d "{
    \"model\": \"qwen3.5:0.8b\",
    \"messages\": [{
      \"role\": \"user\",
      \"content\": \"Describe this image.\",
      \"images\": [\"$IMG\"]
    }],
    \"stream\": false
  }"

Es scheint das Bild tatsächlich zu erkennen:

This is a close-up portrait of a ginger-colored cat, specifically resembling an English Shorthair. Here are the key details:\n\n*   **Coat and Markings:** The cat has a sleek, short coat with a distinctive orange tabby pattern, featuring darker stripes running across its forehead and around the face.\n*
**Eyes:** The most prominent feature is the cat's eyes, which are bright, emerald green. They are wide open and are looking directly at the viewer with an alert expression.\n*   **Ears:** The cat has large, upright, pointed ears that are perked forward with pink interiors.\n*   **Muzzle and Whiskers:** The small, square muzzle has a pink nose. Long, white whiskers extend from the sides of the face, adding texture to the face.\n*   **Background:** The background is a soft, out-of-focus green, suggesting the cat is sitting in a garden or outdoors."