Probleme beim Programmieren über ISP falls LCD angeschlossen

Heyho nochmal,

ich habe wieder mal ein kleines Problem. ;)
Meine Schaltung wird von einem AtMega644 gesteuert, und neben einigen 
LEDs etc. sind auch zwei LCD-Displays angeschlossen (über relativ lange 
Kabel, ~30-40cm). Der Datenport der Displays ist an PORTB des µC 
angeschlossen (welches Display jeweils angesteuert wird, wird durch CS 
entschieden).

An PORTB ist dummerweise aber auch die ISP-Schnittstelle, sprich MOSI, 
MISO, SCK. Sind die Displays angeschlossen, wird beim Programmieren 
heftig protestiert, die MOSI lines seien kurzgeschlossen (manchmal auch 
SCK, nach Belieben), was natürlich Quatsch ist. Ist ein Display dran, 
geht es manchmal. Sind beide ab, funktioniert es tadellos.

Den Port kann und will ich nicht mehr ändern (ich habe keine Pins 
frei...). Gibt es eine schöne Möglichkeit, das Programmieren doch noch 
hinzubekommen, ohne die Displays jedes Mal abzustöpseln? Ehrlich gesagt 
weiß ich nicht, warum es genau zu dem Problem kommt (ich vermute 
Spannungsschwankungen oder so wegen aktiver Displays und langen 
Leitungen?).

Kann mir irgendwer helfen? :S
Sonst muss ich mir einen Schalter bauen, mit dem man zwischen 
Programmieren und Normal hin- und herschalten kann, aber das Wahre ist 
das ja auch nicht ^^

Vielen Dank schonmal :)