- Bildergalerie

lokale KI Experiment auf altem (LLM)

Christoph M. (mchris) OP 25.03.2026 14:37 #8027471

Lesenswert?

•

Man kann auf einem älteren Rechner ohne Graphikkarte ein ziemlich einfach ein lokales LLM laufen lassen.
Beitrag "Re: Erfahrungen mit AI-Coding"
Weil mein Rechner schon etwas älter ist, habe ich ein heutzutage ziemlich kleines Modell mit unter 1GB Parameter installiert.
Ich erwarte nicht, dass das Modell etwas nützliches produzieren kann, aber es ist relativ spannend damit zu spielen. Man kann es gibt auch Einstellparameter, die man sichtbar machen und verändern kann.

>>> /show info

  Model

    architecture        qwen35     

    parameters          873.44M    

    context length      262144     

    embedding length    1024       

    quantization        Q8_0       

    requires            0.17.1     

  Capabilities

    completion    

    vision        

    tools         

    thinking      

  Parameters

    presence_penalty    1.5     

    temperature         1       

  License

    Apache License               

    Version 2.0, January 2004    

    ...

Man versteht auch anhand der Parameteraufzählung ein wenig, wie man das Modell beeinflussen kann, was ja bei der Benutzung von ChatGPT oder ähnlichen nicht so klar ist.

Irgendwie kann es trotz der geringen Größe auch etwas Deutsch. Wenn man aber die Frage stellt "Sprichst Du Deutsch" verrennt es sich in einer Schleife und überlegt, ob es jetzt auf Deutsch antworten soll oder die Frage mit "Ja" beantworten (man kann den Überlegungen zusehen, weil der Prozess visualisiert wird).

Setzt man den Parameter

/set nothink

antwortet es schnell "Ja, ich spreche Deutsch. Was kann ich heute Ihnen helfen?"

und auf die Frage "Kannst du den Satz "Wann haben die Römer gelebt?" auf Englsich übersetzen?"

eigentlich ganz gut mit "When did the Romans live?"

Vielleicht will von euch auch mal jemand mit dem Modell (oder einem ähnlichen) spielen und die Erfahrungen mitteilen.

Antwort Zitieren Bearbeiten Thread verschieben Thread sperren Anmeldepflicht aktivieren Anpinnen Thread löschen Thread mit anderem zusammenführen Beitrag melden

Christoph M. (mchris) OP 25.03.2026 15:56 #8027498

Lesenswert?

•

▲
▼

Krass: Wie bei den "Capabilities" im Eingangspost sieht, soll das Modell auch irgendwie "Vision" können.

Ich habe es mal mit einem Katzenbild getestet. Das Problem: Man kann das Bild scheinbar nicht so einfach an ollama übergeben.

Es geht folgendermaßen:

Ollama in einem Fenster starten:

ollama run qwen3.5:0.8b

Dann in einem anderen Fenster das Bild in b64-Codierung umwandeln

IMG=$(base64 -w 0 cat.png)

und per curl an ollama übergeben

curl http://localhost:11434/api/chat \

  -H "Content-Type: application/json" \

  -d "{

    \"model\": \"qwen3.5:0.8b\",

    \"messages\": [{

      \"role\": \"user\",

      \"content\": \"Describe this image.\",

      \"images\": [\"$IMG\"]

    }],

    \"stream\": false

Es scheint das Bild tatsächlich zu erkennen:

This is a close-up portrait of a ginger-colored cat, specifically resembling an English Shorthair. Here are the key details:\n\n*   **Coat and Markings:** The cat has a sleek, short coat with a distinctive orange tabby pattern, featuring darker stripes running across its forehead and around the face.\n*

**Eyes:** The most prominent feature is the cat's eyes, which are bright, emerald green. They are wide open and are looking directly at the viewer with an alert expression.\n*   **Ears:** The cat has large, upright, pointed ears that are perked forward with pink interiors.\n*   **Muzzle and Whiskers:** The small, square muzzle has a pink nose. Long, white whiskers extend from the sides of the face, adding texture to the face.\n*   **Background:** The background is a soft, out-of-focus green, suggesting the cat is sitting in a garden or outdoors."

Angehängte Dateien: