Forum: Digitale Signalverarbeitung / DSP / Machine Learning Frage bzgl. Backward Propagation Aufgabe


Announcement: there is an English version of this forum on EmbDev.net. Posts you create there will be displayed on Mikrocontroller.net and EmbDev.net.
von Backward (Gast)


Lesenswert?

Hallo Community,

ich habe eine Frage bzgl. folgender Aufgabe:

Ein Neuronales Netz - aktuell durch ein simples Neuron repräsentiert - 
soll mit folgenden Inputs auf den Zielwert y=1 trainiert werden:
x1=2;x2=3;w1=0.11;w2=0.21; Fehlerfunktion E: 0.5(y_ziel - y_aktuell)^2

Explizit erwähnt wird das es erstmal keine Aktivierungsfunktion gibt, 
d.h. das Neuron feuert immer.

Das Training wird durch Minimierung des Fehlers (mittels 
Gradientenabstiegsverfahren) in Bezug auf die Gewichtungen erreicht.

Nach wiederholten Rechnungen komme ich allerdings immer zu folgendem 
Schluss (Ergebnis der partiellen Ableitung):

y_aktuell = x1*w1+x2*w2

dE/dw1 = (y - y_aktuell) * x1

dE/dw2 = (y - y_aktuell) * x2

w1_neu = w1_alt - dE/dw1

w2_neu = w2_alt - dE/dw2

Allerdings wird der Fehler dadurch immer größer anstatt kleiner.

Wo liegt mein Fehler?

Danke vorab für hilfreiche Antworten.

: Verschoben durch Moderator
von A. S. (rava)


Lesenswert?

Du hast einen Vorzeichenfehler

von Backward (Gast)


Lesenswert?

Ich hab es auch schon mit umgedrehten Vorzeichen (+ x1 anstatt -x1) 
gerechnet, allerdings wird dadurch der Fehler ebenfalls größer.

von Backward (Gast)


Lesenswert?

Sorry, meinte
w1_neu = w1_alt + dE/dw1

w2_neu = w2_alt + dE/dw2

von Sigi (Gast)


Lesenswert?

Die Gleichungen

  w1_neu = w1_alt - dE/dw1
  w2_neu = w2_alt - dE/dw2

stimmen iE schon, d.h. das Voreichen vor den
Gradientenkomponenten stimmt. Es fehlt aber noch
eine weitere Gewichtung:

  w1_neu = w1_alt - sigma*dE/dw1
  w2_neu = w2_alt - sigma*dE/dw2

mit sigma>=0.

In deinem Fall lässt sich sigma explizit berechnen
(iA ist das aber schwer bis nicht praktikabel).

Antwort schreiben

Die Angabe einer E-Mail-Adresse ist freiwillig. Wenn Sie automatisch per E-Mail über Antworten auf Ihren Beitrag informiert werden möchten, melden Sie sich bitte an.

Wichtige Regeln - erst lesen, dann posten!

  • Groß- und Kleinschreibung verwenden
  • Längeren Sourcecode nicht im Text einfügen, sondern als Dateianhang

Formatierung (mehr Informationen...)

  • [c]C-Code[/c]
  • [code]Code in anderen Sprachen, ASCII-Zeichnungen[/code]
  • [math]Formel in LaTeX-Syntax[/math]
  • [[Titel]] - Link zu Artikel
  • Verweis auf anderen Beitrag einfügen: Rechtsklick auf Beitragstitel,
    "Adresse kopieren", und in den Text einfügen




Bild automatisch verkleinern, falls nötig
Bitte das JPG-Format nur für Fotos und Scans verwenden!
Zeichnungen und Screenshots im PNG- oder
GIF-Format hochladen. Siehe Bildformate.
Hinweis: der ursprüngliche Beitrag ist mehr als 6 Monate alt.
Bitte hier nur auf die ursprüngliche Frage antworten,
für neue Fragen einen neuen Beitrag erstellen.

Mit dem Abschicken bestätigst du, die Nutzungsbedingungen anzuerkennen.