Hallo zusammen, ich baue gerade für eine Bachelorarbeit eine Pipeline auf dem Raspberry Pi 3 mit 1GB RAM und suche Erfahrungen aus der Praxis, welchen Pi ich stattdessen nehmen sollte:
Ein großer KI-Modellteil wird in der Pipeline jedes Mal neu geladen. Das Modell ist knapp 1 GB groß, das Laden dauert bei mir aktuell etwa 10 Minuten, mit Swap auf der SD Karte, während die eigentliche Ausführung nur ungefähr 2 Minuten braucht. Der betroffene Teil kann nicht dauerhaft im Speicher bleiben und ich kann das Modell nicht ersetzen, verkleinern oder quantisieren, weil ich ein fertiges Repository nutze und die Ausgabe sonst Probleme macht.
Mein aktueller Pi ist mit der Aufgabe klar überfordert. Ich habe aber auch nicht so viel Geld, dass ich direkt das neuste Modell mit dem meisten RAM kaufen kann.
Meine Frage: Was sind eure Erfahrungen bei so einem Setup?
Bringt bei großen, oft neu geladenen Modellen eher ein Schritt zu einem neueren Raspberry Pi mehr, oder ist mehr RAM der entscheidendere Faktor? Konkret schwanke ich zwischen Raspberry Pi 4 und Raspberry Pi 5, jeweils mit 2 GB oder 4 GB RAM. Bei 4 gibt es ja auch noch 3GB..
Ist der Unterschied zwischen Pi 4 und Pi 5 mit 2 GB in der Praxis groß genug, oder würdet ihr eher direkt zu 4 GB greifen?
Ich würde mich besonders über Erfahrungen mit speicherintensiven Workloads und häufigem Nachladen großer Modelle freuen.
Oder sagt gern was ihr weiter wissen müsst um mir eine Einschätzung geben zu können.
Danke 😊