Ohne wirklich Ahnung vom Raspberry und wxwidgets zu haben: Auf meinem PC nutze ich einen zweiten, sehr einfachen virtuellen X-Server für eine spezielle, grafische Anwendung, welche exklusiv dort läuft ohne Windowmanager.
Auf diesen greife ich nur via vnc zu.
Er nennt sich Xvfb: https://de.wikipedia.org/wiki/Xvfb
Den wird es vermutlich auch in Raspian geben. Ob und wieviel weniger ressourcenhungrig das ist, weiß ich auch nicht. Vielleicht ist es aber ein Versuch wert. Ich starte ihn zudem als gewöhnlichen User direkt von der Konsole mit:
"Xvfb :1 &"
Die Anwendung wird dann gestartet mit:
"DISPLAY=:1 ./grafisches_programm &"
Um darauf bei Bedarf zuzugreifen, starte ich temporär einen vnc-server:
"x11vnc -display :1"
Mit einen beliebigen VNC-Client kann ich die Software dann nutzen. Wenn gar kein weiterer X-Server läuft, kann man sich sicher noch die ganzen DISPLAY=:1 Parameter sparen. Müsste also noch einfacher sein. Ich nutze Xvfb früher auch oft über SSH, wobei ich den x11vnc-Port dann noch tunnele mit "ssh server -luser -L5901:localhost:5901"