matrix am pcf8574

hallo
ich habe an dem porterweiterungsbaustein eine matrix angeschlossen um
schalter abzufragen.
die beschaltung der matrix habe ich oben beigefügt.
nun folgendes problem,wenn ich wie üblich die zustände auf low abfrage
klappt das nicht. das heist ich gebe am pcf z.b. 0xFE(P1.0 low, alle
anderen high) aus, da ich ja die ports am pcf auf high setzten muss um
sie als eingang zu verwenden.
wenn ich jetzt den taster s1 drücke zieht es mir das potenzial nicht
auf low da am P1.4 ja auch high anliegt.
ich bin mir nicht sicher ob ich jetzt probieren kann die abfrage auf
high zu testen.also den auf low gesetzten eingang am pcf auf high über
den taster s1 zu ziehen.
mache ich dabei den pcf kaputt?
ich hoffe das ich es einigermasen verständlich rübergebracht habe.
die dioden sollen ermöglichen das ich den wert der matrix ermitteln
kann egal wieviel und welche taster betätigt sind.

danke für hilfe