lokale KI: llama.cpp als server

Christoph M. schrieb:

Mittlerweile habe ich llama.cpp als Modellserver laufen und man kann die verschiedenen Modelle auswählen.

1

> ./llama-server --host 0.0.0.0 --port 30000

2

>

Falls sich da an den Files auf hugging-face etwas ändert, scheint es das jeweilige gesamte Modell neu herunterzuladen. Je nach Modell sind das dann mal locker 30GB und man muss ewig warten. Kann man irgendwie verhindern, dass die Modelle automatisch "upgedatet" werden?

In meiner (alten) Version gibt es da den Schalter "--offline", vielleicht gibt es den ja immer noch. Ansonsten kannst Du llama-server in einem Container betreiben, und die Hosts von Huggingface in /etc/hosts oder mit "docker run --add-host host:ip" umbiegen. HTH.

Sheeva P. schrieb:

In meiner (alten) Version gibt es da den Schalter "--offline",

Danke für den Hinweis, ist wohl noch vorhanden:

1

./llama-cli --help | grep offline

2

--offline                               Offline mode: forces use of cache, prevents network access

Die alten Files sind scheinbar noch im cache, da sind knapp 40GB zu viel, die ich noch los werden muss.

p.s.: kleiner Seiteneffekt von "--offline" llama.cpp startet schneller