Linux + usb + OLED

Hallo ich habe eine Idee und wollte hier mal nachfragen was dafür nötig 
wäre:

Ich habe einen Mikrocontroller auf dem ein Linux läuft, dieser hat keine 
eigene Grafikkarte und daher keinen VGA Anschluss und die OLED Display 
sind in der Regel nur mit Flachbandkabel oder Steckerleiste günstig zu 
bekommen. Somit muss ich das ganze über USB lösen.
Die Programmierung am Ende sollte mir keine Probleme bereiten, doch wie 
ich hier anfangen muss ist mir noch nicht ganz klar.

Ich muss Linux ja irgendwie klar machen, dass an dem USB jetzt ein 
Display hängt das wie gehabt mit Bilddaten versorgt werden kann und am 
Ende dann so was wie ein Windowmanager dargestellt werden kann.

Ich habe mir schon verschiedene Sachen angesehen wie z.B. LCD4Linux, 
aber das ist ja hier nicht so ganz geeignet.