lokale KI Experiment auf altem (LLM)

Christoph M. OP #8027471
Lesenswert?
• ▲
▼

Man kann auf einem älteren Rechner ohne Graphikkarte ein ziemlich einfach ein lokales LLM laufen lassen.
Beitrag "Re: Erfahrungen mit AI-Coding"
Weil mein Rechner schon etwas älter ist, habe ich ein heutzutage ziemlich kleines Modell mit unter 1GB Parameter installiert.
Ich erwarte nicht, dass das Modell etwas nützliches produzieren kann, aber es ist relativ spannend damit zu spielen. Man kann es gibt auch Einstellparameter, die man sichtbar machen und verändern kann.

1
 
>>> /show info

2
 
  Model

3
 
    architecture        qwen35     

4
 
    parameters          873.44M    

5
 
    context length      262144     

6
 
    embedding length    1024       

7
 
    quantization        Q8_0       

8
 
    requires            0.17.1     

9
 


10
 
  Capabilities

11
 
    completion    

12
 
    vision        

13
 
    tools         

14
 
    thinking      

15
 


16
 
  Parameters

17
 
    top_k               20      

18
 
    top_p               0.95    

19
 
    presence_penalty    1.5     

20
 
    temperature         1       

21
 


22
 
  License

23
 
    Apache License               

24
 
    Version 2.0, January 2004    

25
 
    ...

Man versteht auch anhand der Parameteraufzählung ein wenig, wie man das Modell beeinflussen kann, was ja bei der Benutzung von ChatGPT oder ähnlichen nicht so klar ist.

Irgendwie kann es trotz der geringen Größe auch etwas Deutsch. Wenn man aber die Frage stellt "Sprichst Du Deutsch" verrennt es sich in einer Schleife und überlegt, ob es jetzt auf Deutsch antworten soll oder die Frage mit "Ja" beantworten (man kann den Überlegungen zusehen, weil der Prozess visualisiert wird).

Setzt man den Parameter

1
 
/set nothink

antwortet es schnell "Ja, ich spreche Deutsch. Was kann ich heute Ihnen helfen?"

und auf die Frage "Kannst du den Satz "Wann haben die Römer gelebt?" auf Englsich übersetzen?"

eigentlich ganz gut mit "When did the Romans live?"

Vielleicht will von euch auch mal jemand mit dem Modell (oder einem ähnlichen) spielen und die Erfahrungen mitteilen.

Antwort Zitieren Bearbeiten Thread verschieben Thread sperren Anmeldepflicht aktivieren Anpinnen Thread löschen Thread mit anderem zusammenführen Beitrag melden
Christoph M. OP #8027498
Lesenswert?
• ▲
▼

Krass: Wie bei den "Capabilities" im Eingangspost sieht, soll das Modell auch irgendwie "Vision" können.

Ich habe es mal mit einem Katzenbild getestet. Das Problem: Man kann das Bild scheinbar nicht so einfach an ollama übergeben.

Es geht folgendermaßen:

Ollama in einem Fenster starten:

1
 
ollama run qwen3.5:0.8b

Dann in einem anderen Fenster das Bild in b64-Codierung umwandeln

1
 
IMG=$(base64 -w 0 cat.png)

und per curl an ollama übergeben

1
 
curl http://localhost:11434/api/chat \

2
 
  -H "Content-Type: application/json" \

3
 
  -d "{

4
 
    \"model\": \"qwen3.5:0.8b\",

5
 
    \"messages\": [{

6
 
      \"role\": \"user\",

7
 
      \"content\": \"Describe this image.\",

8
 
      \"images\": [\"$IMG\"]

9
 
    }],

10
 
    \"stream\": false

11
 
  }"

Es scheint das Bild tatsächlich zu erkennen:

1
 
This is a close-up portrait of a ginger-colored cat, specifically resembling an English Shorthair. Here are the key details:\n\n*   **Coat and Markings:** The cat has a sleek, short coat with a distinctive orange tabby pattern, featuring darker stripes running across its forehead and around the face.\n*

2
 
**Eyes:** The most prominent feature is the cat's eyes, which are bright, emerald green. They are wide open and are looking directly at the viewer with an alert expression.\n*   **Ears:** The cat has large, upright, pointed ears that are perked forward with pink interiors.\n*   **Muzzle and Whiskers:** The small, square muzzle has a pink nose. Long, white whiskers extend from the sides of the face, adding texture to the face.\n*   **Background:** The background is a soft, out-of-focus green, suggesting the cat is sitting in a garden or outdoors."
Angehängte Dateien:
Antwort Zitieren Bearbeiten Löschen Beitrag melden
Thread beobachten

Antwort schreiben

Hinweis: der ursprüngliche Beitrag ist mehr als 6 Monate alt. Bitte hier nur auf die ursprüngliche Frage antworten, für neue Fragen einen neuen Beitrag erstellen.

Formatierung
  • [c]C-Code[/c]
  • [code]Code in anderen Sprachen, ASCII-Zeichnungen[/code]
  • [math]Formel in LaTeX-Syntax[/math]
  • [[Titel]] – Link zu einem Artikel
  • Verweis auf einen anderen Beitrag: Rechtsklick auf dessen Beitrags-ID (#8078628), „Adresse kopieren“, in den Text einfügen

Mehr zur Formatierung

Längeren Sourcecode als Anhang, nicht in den Text. JPG nur für Fotos und Scans; Zeichnungen und Screenshots als PNG oder GIF. Siehe Bildformate.

Dein Name und deine E-Mail-Adresse

Schon registriert? Anmelden

Wird nicht angezeigt. Wir schicken dir einen Link; sobald du damit bestätigst, erscheint dein Beitrag.

Mit dem Abschicken legst du einen kostenlosen Account an und erkennst die Nutzungsbedingungen und die Datenschutzerklärung an.