Erste Frage:
Ja, genau so ist das gemeint. Alle +5V-Anschlüsse miteinander
verbinden. Den vom ISP ebenso.
Zweite Frage:
C2 (und ein IMHO fehlender C3) ist ein Glättungskondensator, der
möglichst nahe an den Stromversorgungsanschlüssen des Prozessors liegen
sollte (der fehlende C3 kommt entsprechend an die
Stromversorgungsanschlüsse des Quarzoszillators).
Diese Kondensator dient dazu, hochfrequente Schwankungen der
Versorgungsspannung auszugleichen. Ein Keramikkondensator mit 100 nF
ist hier übliches Schaltungsdesign.
Es gibt spezielle IC-Sockel, in die ein entsprechender Kondensator
bereits eingebaut ist; das funktioniert natürlich nur, wenn das zu
verwendende IC die Stromversorgungsanschlüsse auch dort hat, wo es der
Sockel vermutet ...
Das aber ist bei einem Breadboard irrelevant.
Hier sind kurze Verbindungen zwischen Kondensator und
Versorgungsspannungsanschlüssen des Prozessors (und des Oszillators)
wichtiger.
Wenn Du Zugang zu einem anständigen Oszilloskop haben solltest, kannst
Du ja mal einen Tastkopf an den VCC-Pin des Prozessors halten (Masse an
Masse des Prozessors) und Dir ansehen, wie -AC-gekoppelt!- die
Versorgungsspannung bei laufendem Prozessor mit und ohne Kondensator
aussieht. Du wirst hochfrequente Störungen in der Größenordnung von 50
mV oder sogar mehr messen können.