Mp3-Decoder an Gegensprechanlage

Guten Morgen Forum!

Ich habe vor, ein kleines Projekt umzusetzen, welches mir schon seit 
längerem vorschwebt:
In meinem Haus habe ich eine Gegensprechanlage. Diese hat einen Art 
Telefonhörer mit Mikrofon und Hörmuschel. Nehme ich den Hörer aus der 
Station, wird ein kleiner Taster geöffnet/geschlossen und ich kann mit 
dem potentiellen Gast am Gartentor kommunizieren. Das Mikro und der 
Lautsprecher ist solange aktiv, bis ich den Hörer wieder in die Station 
hänge (woraufhin der Taster geöffnet/geschlossen wird und den Hörer 
"stummschaltet".
Da der Lautsprecher am Gartentor ziemlich laut ist und wir gewisse Feste 
meist vor dem Gartentor feiern, möchte ich als Gag den Lautsprecher als 
Soundwuelle für mp3s hernehmen. Diese könnten dann auch Soundsequenzen 
wie Hundegebelle o.ä. sein, falls mal wieder die Nachbarskinder 
Klingelstreich spielen ;-)
Dafür habe ich mir ein Arduino-Shield (mp3-Decoder mit SD-Kartenslot) 
und den Arduino Nano gekauft, um diese zu verheiraten. 
Programmiertechnisch bin ich bewandert, allerdings habe ich folgende 
elektronische Frage:

 - Ich würde ein kleines Panel bauen auf dem ein Schalter sitzt, um 
zwischen mp3-Ausgabe und Gegensprechfunktion umzuschalten. D.h. sobald 
ich die mp3-Ausgabe aktiviere, werden mittels Relais sämtliche 
Zuleitungen vom Hörer zur Station entkoppelt. Dann soll das Audiosignal 
anstelle des Signals vom Hörer-Mikro eingespeist werden.
Aber auf was muss ich da achten, damit ich nichts zerschieße?
Ich hab keinerlei Angaben über Impedanz des Lautsprechers o.ä.

Könnt ihr mir helfen?

Danke!