Frage bzgl. Backward Propagation Aufgabe

Backward Gast #6876228
Lesenswert?
• ▲
▼ 
Hallo Community,

ich habe eine Frage bzgl. folgender Aufgabe:

Ein Neuronales Netz - aktuell durch ein simples Neuron repräsentiert - 
soll mit folgenden Inputs auf den Zielwert y=1 trainiert werden:
x1=2;x2=3;w1=0.11;w2=0.21; Fehlerfunktion E: 0.5(y_ziel - y_aktuell)^2

Explizit erwähnt wird das es erstmal keine Aktivierungsfunktion gibt, 
d.h. das Neuron feuert immer.

Das Training wird durch Minimierung des Fehlers (mittels 
Gradientenabstiegsverfahren) in Bezug auf die Gewichtungen erreicht.

Nach wiederholten Rechnungen komme ich allerdings immer zu folgendem 
Schluss (Ergebnis der partiellen Ableitung):

y_aktuell = x1*w1+x2*w2

dE/dw1 = (y - y_aktuell) * x1

dE/dw2 = (y - y_aktuell) * x2

w1_neu = w1_alt - dE/dw1

w2_neu = w2_alt - dE/dw2

Allerdings wird der Fehler dadurch immer größer anstatt kleiner.

Wo liegt mein Fehler?

Danke vorab für hilfreiche Antworten.
Antwort Zitieren Bearbeiten Thread verschieben Thread sperren Anmeldepflicht aktivieren Anpinnen Thread löschen Thread mit anderem zusammenführen Beitrag melden
Sigi Gast #6876966
Lesenswert?
• ▲
▼ 
Die Gleichungen

  w1_neu = w1_alt - dE/dw1
  w2_neu = w2_alt - dE/dw2

stimmen iE schon, d.h. das Voreichen vor den
Gradientenkomponenten stimmt. Es fehlt aber noch
eine weitere Gewichtung:

  w1_neu = w1_alt - sigma*dE/dw1
  w2_neu = w2_alt - sigma*dE/dw2

mit sigma>=0.

In deinem Fall lässt sich sigma explizit berechnen
(iA ist das aber schwer bis nicht praktikabel).
Antwort Zitieren Bearbeiten Löschen Beitrag melden
Thread beobachten

Antwort schreiben

Hinweis: der ursprüngliche Beitrag ist mehr als 6 Monate alt. Bitte hier nur auf die ursprüngliche Frage antworten, für neue Fragen einen neuen Beitrag erstellen.

Formatierung
  • [c]C-Code[/c]
  • [code]Code in anderen Sprachen, ASCII-Zeichnungen[/code]
  • [math]Formel in LaTeX-Syntax[/math]
  • [[Titel]] – Link zu einem Artikel
  • Verweis auf einen anderen Beitrag: Rechtsklick auf dessen Beitrags-ID (#8078628), „Adresse kopieren“, in den Text einfügen

Mehr zur Formatierung

Längeren Sourcecode als Anhang, nicht in den Text. JPG nur für Fotos und Scans; Zeichnungen und Screenshots als PNG oder GIF. Siehe Bildformate.

Dein Name und deine E-Mail-Adresse

Schon registriert? Anmelden

Wird nicht angezeigt. Wir schicken dir einen Link; sobald du damit bestätigst, erscheint dein Beitrag.

Mit dem Abschicken legst du einen kostenlosen Account an und erkennst die Nutzungsbedingungen und die Datenschutzerklärung an.