mikrocontroller.net

Forum: FPGA, VHDL & Co. Coole FPGA Projekte


Autor: FPGAfan (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Was war das coolste und abgefahrenste was ihr mit einem FPGA mal gemacht 
habt?

Autor: Frank (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Altera SoC.
4x 100MS ADC am FPGA.
Linux + Webserver auf den Applikationsprozessoren.
Visualisierung und Parametrierung über den Browser möglich.
Also eine Art "Web Oszi".

Autor: vBraunsUrenkel (Gast)
Datum:

Bewertung
2 lesenswert
nicht lesenswert
Lenkwaffensteuerung

Autor: Doc_Brown (Gast)
Datum:

Bewertung
4 lesenswert
nicht lesenswert
Ausgeloetet

Doc_Brown

Autor: Thomas W. (Firma: privat) (diddl)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Eine Speicherweiterung 512KB RAM + 512KB EEPROM für einen VC-20 Retro 
Computer von Commodore.

Unter Berücksichtigung der verschiedenen Speichermodelle und 
ausgefeiltem Banking.


Final Expansion:
https://de.wikipedia.org/wiki/Final_Expansion



Na gut, ist nur ein CPLD.

: Bearbeitet durch User
Autor: Analog OPA (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
vBraunsUrenkel schrieb:
> Lenkwaffensteuerung

Ein Privatprojekt?

Was Ich verfolge, war dieses Radio-Projekt mit 4 Komponenten im FPGA, 
das hier einst als Wettbewerb lief. Kam aber offenbar nichts bei raus.

Mein Projekt wäre ein kompletter Funkmastabgleichgenerator.

Autor: Andy (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Für coole FPGA Projekte bieten sich die ultra low power FPGAs von 
Lattice an, die werden kaum warm.
Wenn's auch noch abgefahren sein soll: Einfach auf einem fahrbaren 
Objekt montieren.

Autor: Jürgen S. (engineer) Benutzerseite
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Andy schrieb:
> Für coole FPGA Projekte bieten sich die ultra low power FPGAs von
> Lattice an, die werden kaum warm.
... und wenn sie immer noch nicht cool genug sind: Einfach einen 
Antistrom einprägen und als Peltier-FPGA verwenden.

> Wenn's auch noch abgefahren sein soll: Einfach auf einem fahrbaren
> Objekt montieren.
... aber rechtzeitig platzieren, bevor das Objekt weg ist :-)

Empfehlenswert sind auch "spannende" Projekte, wie ein Ei zwischen zwei 
FPGAs einquetschen oder ein Auto dran aufhängen, am Besten mit mit "auto 
constraining" ...

Autor: FPGAfan (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Habt ihr schon mal versucht eine künstliche Intelligenz mit einem FPGA 
zu entwickeln?

Autor: Christian R. (supachris)
Datum:

Bewertung
1 lesenswert
nicht lesenswert
FPGAfan schrieb:
> Habt ihr schon mal versucht eine künstliche Intelligenz mit einem
> FPGA zu entwickeln?

Nicht die komplette, aber als Beschleuniger für einen DSP, der offline 
und relativ energieeffizient KI Sachen tut, hab ich sowas in einem 
Forschungsprojekt gemacht. Zerfällt ja am Ende auf Matrizen 
Multiplikation usw. Aber war schon kniffelig, mit mehreren DDR3 RAMs, 
paralleler Abarbeitung und dann noch halbwegs stromsparend...

Steckt hier drin: https://www.elektronikforschung.de/projekte/misis
Und erweitert nochmal hier: 
https://www.technik-zum-menschen-bringen.de/projekte/ucui

Autor: frager (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
DArf man wissen, inwieweit hier KI zum Tragen kommen? Was tut dieses 
Gerät im Bezug auf KI, was andere nicht können?

Autor: Christian R. (supachris)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
frager schrieb:
> DArf man wissen, inwieweit hier KI zum Tragen kommen? Was tut
> dieses Gerät im Bezug auf KI, was andere nicht können?

Naja, meines Wissens ist das von den aktuellen KI Sachen ein ganzes 
Stück entfernt. Hier gehts um recht einfache, lernende Algorithmen die 
optimiert für offline Anwendung und stromsparend ausgelegt wurden.
Ich hab da ehrlich gesagt selbst nicht 100 Prozent durchgeblickt, hab 
"nur" die FPGA Sachen für unseren Anteil gemacht, das war vorher schon 
mal auf PC ausprobiert worden und wurde dann auf einen Artix portiert.

Autor: Hirnschaden, H. (Firma: Happy Computing MDK Inc.) (hirnschaden)
Datum:

Bewertung
-7 lesenswert
nicht lesenswert
Ainen gudden!

Christian R. schrieb:
> Nicht die komplette, aber als Beschleuniger für einen DSP, der offline
> und relativ energieeffizient KI Sachen tut,

Ach; die haben wohl Probleme mit der Datenschaufelei.

Ein paralleles Netz zeitlich zu diskretisieren ist sowieso der falsche 
Ansatz. Die zu verarbeitenden Datenmengen können jederzeit jeden Rahmen 
sprengen.
Eine Möglichkeit wäre die zu schaufelnden Daten mit Methoden der 
Videokompression zu bearbeiten. Was aber im Endeffekt auf sowas wie 
malen nach Zahlen hinausläuft und einem die Datenmassen trotzdem immer 
wieder um die Ohren fliegen.

Dwianea
hirnschaden

Autor: Kamera-d (Gast)
Datum:

Bewertung
8 lesenswert
nicht lesenswert
Hirnschaden, H. schrieb:
> Eine Möglichkeit wäre die zu schaufelnden Daten mit Methoden der
> Videokompression zu bearbeiten. Was aber im Endeffekt auf sowas wie
> malen nach Zahlen hinausläuft und einem die Datenmassen trotzdem immer
> wieder um die Ohren fliegen.

Wenn Ich so Zeug lesen muss, kann Ich nur sagen, dass Dein nick gut 
gewählt ist. Du solltest mal drüber nachdenken, ob das sinnig ist, den 
weniger gut Informierten hier im Forum dein unausgereiftes Wissen 
aufzudrücken.

Autor: Sauron (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert

Autor: Hirnschaden, H. (Firma: Happy Computing MDK Inc.) (hirnschaden)
Datum:

Bewertung
-6 lesenswert
nicht lesenswert
Ainen gudden!

Kamera-d schrieb:
> Du solltest mal drüber nachdenken, ob das sinnig ist, den weniger gut
> Informierten hier im Forum dein unausgereiftes Wissen aufzudrücken.

Meinst Du jetzt die, die ein neuronales Netz am laufen haben oder die 
Anderen, die sowas nur vom hörensagen kennen?

Dwianea
hirnschaden

Autor: Winfried J. (Firma: Nisch-Aufzüge) (winne) Benutzerseite
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Hirnschaden, H. schrieb:


> Meinst Du jetzt die, die ein neuronales Netz am laufen haben oder die
> Anderen, die sowas nur vom hörensagen kennen?

Sicher meint er den Teil der Leserschaft, der über ein solches, mit der 
Entsprechung seiner KI als Hauptprozessor auskommen muss.;)

Autor: Hirnschaden, H. (Firma: Happy Computing MDK Inc.) (hirnschaden)
Datum:

Bewertung
-2 lesenswert
nicht lesenswert
Ainen gudden!

Winfried J. schrieb:
> Sicher meint er den Teil der Leserschaft, der über ein solches, mit der
> Entsprechung seiner KI als Hauptprozessor auskommen muss.;)

Ach Du meinst jetzt die von ihm geschriebenen Bots? Weil die brauchen ja 
auch irgendwelche Daten zum Verarbeiten.🐴

Dwianea
hirnschaden

Autor: Hirnschaden, H. (Firma: Happy Computing MDK Inc.) (hirnschaden)
Datum:

Bewertung
-1 lesenswert
nicht lesenswert
Ainen gudden!

Kamera-d schrieb:
> Du solltest mal drüber nachdenken, ob das sinnig ist, den weniger gut
> Informierten hier im Forum dein unausgereiftes Wissen aufzudrücken.

Wer sich mit Neuronalen Netzen befaßt, der steht direkt und unvermittelt 
dem Chaos höchstpersönlich gegenüber.

Dwianea
hirnschaden

Autor: Hirnschaden, H. (Firma: Happy Computing MDK Inc.) (hirnschaden)
Datum:

Bewertung
-2 lesenswert
nicht lesenswert
Ainen gudden!

Kamera-d schrieb:
> Du solltest mal drüber nachdenken, ob das sinnig ist, den weniger gut
> Informierten hier im Forum dein unausgereiftes Wissen aufzudrücken.

Spätestens seit Ende der 80er sind die Nachteile von Neuronalen Netzen 
bekannt, und daß noch jahrzehntelange, eher jahrhundertelange 
Grundlagenforschung nötig ist.

Ein paar Versager versuchen es trotzdem. Mehr als nette Versuche mit 
definierter Bandbreite kriegen die nich' auf die Reihe.

Dwianea
hirnschaden

Autor: FPGAfan (Gast)
Datum:

Bewertung
4 lesenswert
nicht lesenswert
Ich vertiefe mich seit einiger Zeit im Bereich der Hirnforschung und dem 
Wesen von biologischen Gehirnen.

Künstliche Neuronale Netze werfen für mich aber auch für andere die 
Frage auf inwiefern es sich eigentlich wirklich um künstliche neuronale 
Netze nach dem Vorbild der Natur handelt.

Schaut man sich echte neuronale Netze an kann man sehen das die KNN 
davon nur eine grobe Vereinfachung darstellen. Nicht nur das. Man 
vermischt das Vorbild der Natur mit menschlichen algorithmischen 
Fantasien. So etwas wie die Backpropagation von KNN hat man bisher nicht 
in echten neuronalen Netzen finden können.

Mir scheint es bisher so zu sein dass das einzige was von der Natur 
abgeschaut wurde das Prinzip der Gewichtung der Verbindungen zwischen 
den einzelnen Neuronen ist.

Die neuronalen Strukturen in Gehirnen wird ignoriert. Außerdem typisch 
menschlich und mathematisch gestaltet man die KNN wohlgeordnet alles 
schön säuberlich der Reihe nach. Man hat eine ordentliche Struktur vor 
sich und jede Verbindung der Neuronen ist klar definiert und 
einheitlich.
Echte neuronale Netze zeichnen sich durch ein Gleichgewicht aus zwischen 
struktureller Ordnung und Chaos in den Verbindungen der Neuronen.

Echte Gehirne funktionieren nicht wie Computer. Ein einzelnes Neuron hat 
normalerweise keine eindeutige Bedeutung. Es ist nicht wie eine 1 oder 
0.
Vorgänge in Tausenden und Millionen von Neuronen ergeben im ersten Blick 
ein chaotischen Vorgang das nur in der statistischen Betrachtung ein 
deutliches Ergebnis hervorbringt.


Ich finde es erstaunlich wie man in den ganzen Jahrzehnten nicht 
ernsthaft versucht hat die Prinzipien der Natur weiter zu übernehmen. 
Stattdessen hat man das Konzept der neuronalen Netze mit immer mehr 
abstrakten menschlichen Ideen ausgestattet.
Vieles deutet aber daraufhin das echte neuronale Netze keine fest 
eingebautes Algorithmus besitzen, sie arbeiten vielmehr durch das 
Prinzip des Zufalls, Chaos, Struktureller Ordnung, Emergenz, 
Evolutionäre Populationsvorgänge (häufig aktivierte Verbindungen werden 
gestärkt, andere weniger aktivierte Verbindungsketten geschwächt).

Hier ist ein Beispiel für eine im Chaos der synaptischen Verbindungen 
sich deutlich abzeichnete Struktur in der Großhirnrinde, die sogenannten 
kortikalen Säulen. Säulenartige Strukturen bestehend aus verschiedenen 
Schichten von unterschiedlichen Typen von Neuronen:
http://www.kurzweilai.net/images/vibrissal-cortex-rat.jpg

Und wie man sieht sehen die meisten KNNs nicht annähernd so aus. Die 
üblichen KNNs haben Neurone die alle vom gleichen Typ also die selben 
Eigenschaften besitzen.
Räumliche Faktoren in Form von Neuronen Größe bzw. der Länge ihrer Axone 
die den Signalverlauf beeinflussen gibt es in KNNs nicht.

In kortikalen Säulen fließen die Informationen in Form neuronaler 
Aktivität zwischen Netzen mit unterschiedlichen Typen von Neuronen. Das 
heißt die Art und Weise des Informationsflusses im neuronalen Netz wird 
dadurch in irgendeiner Form beeinflusst.
KNNs dagegen haben eine monotone einheitliche Struktur.


Ein weiterer Unterschied ist dass die meisten KNNs im Grunde nur eine 
einzige neuronale Karte darstellen. Das heißt das Netz von künstlichen 
neuronalen Verbindungen stellt insgesamt eine neuronale Karte da.
Viele Hinweise deuten darauf hin dass in echten Gehirnen durch 
strukturelle Verbindungen Informationen nicht nur anhand einzelner 
Karten verarbeitet werden sondern durch eine Wechselwirkung zwischen 
eine Mehrzahl von neuronalen Karten.
Das heißt viele voneinander abgrenzbare neuronale Karten wechselwirken 
ständig miteinander.
Was dadurch genau passiert lässt sich bisher noch nicht genau sagen, 
aber es ist deutlich dass dadurch sozusagen mehr Dynamik für die 
Informationsverarbeitung entsteht. Wenn für bestimmte Vorgänge zwei 
Karten unterschiedlicher Struktur nötig sind dann ist eine Karte dazu 
nicht fähig aber mehr als eine Karte ist dazu fähig. Die Dynamik der 
Möglichkeiten wächst also.
So was sucht man in KNNs aber auch vergeblich.

KNNs leiden meiner Ansicht nach unter dem Tunnelblick klassischer 
Mathematik. Man versucht einheitliche und sauber strukturierte Netze zu 
generieren mit wenig Raum für eine große Dynamik.
Der menschliche Geist ist dazu geneigt die Natur in abstrakten und 
vereinfachten Modellen zu betrachten. Man versucht Unordnung und 
Vielfalt aus den Modellen möglichst zu entfernen.
Kurz, man ist dazu geneigt eine Art Computer Variante von neuronalen 
Netzen zu erschaffen, starr und vereinfacht. Die Dynamik in Computern 
Modellen ist im Vergleich zum biologischen Vorbild sehr stark 
eingeschränkt.


Diese Defizite führe ich auf die Trennung der Wissenschaftsdiszipline 
zurück also schlichtweg dem Mangel an Wissen aus Fachübergreifenden 
Gebieten (auch wenn es so was wie Bioinformatiker gibt, genügt es wohl 
nicht) und mangelnden Ideen wie man die biologische Dynamik in 
beherrschbarem und nutzbarem Umfang in künstliche Modelle überführen 
kann.

Autor: Hagen R. (hagen)
Datum:

Bewertung
1 lesenswert
nicht lesenswert
Nur mal eine Deiner Aussagen rausgepickt:

FPGAfan schrieb:
> Die neuronalen Strukturen in Gehirnen wird ignoriert. Außerdem typisch
> menschlich und mathematisch gestaltet man die KNN wohlgeordnet alles
> schön säuberlich der Reihe nach. Man hat eine ordentliche Struktur vor
> sich und jede Verbindung der Neuronen ist klar definiert und
> einheitlich.


Ein Recurrentes Cascade Correlation Neuronales Netzwerk hat folgende 
Eigenschaften:

- keine feste Organisation in sogennnten Layern
- jedes Neuron (man sagt eher Unit) kann eine Verbindung zu jedem 
Eingang eines anderen Neurons ausbilden
- die Anzahl der Neuronen, die Anzahl und Stärke der Verbindungen zu 
allen anderen Neuronen sind variabel und werden beim Training 
ausgebildet oder entfernt
- jedes Neuron hat eine Verbindung seines Ausgangs zu seinem eigenen 
Eingang, deshalb recurrent und damit ein "Gedächntis". Das Netzwerk kann 
also sequentielle Muster erlernen
- damit sind die Verbindungen der Neuronen maximal verknüpfbar, sie sind 
nicht mehr "klar definiert" in deinem Sinne und auch nicht mehr 
einheitlich.
- das Training des Netzwerkes erfolgt mit Hilfe von Verfahren die den 
genetischen Algorithmen/Evolutions Strategien entsprechen und die 
Backpropagation Lernalgos. unterstützen
- die benutzten Aktvierungsfunktionen der Units können variabel sein
- die sich ergebenden trainierten Netzwerke entsprechen sehr verblüffend 
den Strukturen natürlicher NNs.

Ich habe selber so ein Netzwerk schon implementiert. Du siehst also das 
deine Aussagen längst nicht mehr korrekt sind und dem Stand von vor 20 
Jahren entsprechen.

Davon abgesehen: auch unsere natürlichen NNs arbeiten mit 
Backpropagation und Aktivierungsfunktionen.

> Echte neuronale Netze zeichnen sich durch ein Gleichgewicht aus zwischen
> struktureller Ordnung und Chaos in den Verbindungen der Neuronen.

Jo in so machem NN herrscht Chaos aber in den meisten Hirnen sicherlich 
nicht und schon garnicht auf struktureller Ebene meines NNs. Natürliche 
Neuronale Netzwerke haben mit Chaos überhaupt nichts gemein. Wäre dem so 
so könnten natürliche NNs Zufallsentscheidungen treffen, aber exakt das 
können sie eben nicht, besonders nicht menschliche Hirne.

Dazu habe ich mit dem oben erwähnten RCC-NN ein sehr einfaches Spiel 
programmiert. Zwei Buttons, rot und grün. Der Mensch könnte sich frei 
entscheiden ob er den grünen oder roten Schalter betätigt. Im 
Hintergrund lief in Echtzeit ein RCC-NN und erlernte die Muster die der 
Mensch benutzte um die Schalter nacheinander zu drücken. Vor jeder 
Betätigung traf das RCC-NN eine Prognose welchen der Schalter der Mensch 
als nächstes drückt. Dabei aber nur basierend auf den Daten die es seit 
Spielbegin als Vergleichsdaten hatte.

Schon nach ca. 100 Durchläufen hatte das NN eine 
Prognosewahrscheinlichkeit von >65% erreicht, egal für welche Taktik 
sich der Mensch entschieden hat. Nur wenn der Mensch schummelte und 
einen Würfel benutzte lag das NN mit 50% Wahrschenlichkeit in der 
statistischen Bandbreite von Zufall = Raten.

Unsere Hirne sind nicht in der Lage zufällige Entscheidungen zu treffen, 
dies wäre aber ein zwingendes Indiz oder eben eine Folge für dein 
sogenanntes "Chaos".

Mal von all dem abgesehen: den Forschern zu NNs geht es nicht darum 
damit die Natur 1 zu 1 nachbilden zu wollen. Wenn die möglichen 
Ergebnisse den Ergebnissen die natürliche NNs liefern können ähnlich 
oder sogar teilweis besser sind bei den künstlichen NNs dann ist es egal 
auf welche Art und Weise beide Netzwerke intern arbeiten.

Ein gutes Analogon ist die Geschichte der Genetischen Algorithmen im 
vergleich zu den Evolutions Strategieen. Beides sind Verfahren die die 
grundlegenden Gesetzte der natürliche Evolution in die Wissenschaft der 
Informatik bringen. Der Unterschied beider Verfahren besteht aber in der 
ursprünglichen Motivation, ihrer Zielrichtung. Die genetischen 
Algorithmen versuchten die Kodierung der Informationen so nahe wie 
möglich an die der natur anzulehenen. Sie benutzten also intern Gene, 
Allele, Chromosomen, Geschlechtertrennung usw. usw. und bauten somit die 
natürliche Genetik im Computer nach. Die Evolutionsstrategien benutzten 
Fließkommezahlen in Arrays organisiert, also ganz simpel. Beide 
Verfahren wendeten die Gesetzmäßigkeiten der Evolution an.

Resultat: die GAs konnten lange zeit keine für die Praxis relevanten 
Ergebnisse erzielen. Einer der verblüffesten Durchbrüche war das sie 
noch vor den Biologen/Genetikern ermitteln konnten was prozentual die 
optimale Mutationsrate der Gene zum Gesamtgenom ist, ca. 2.3%. Diese 
Erkenntniss wurde erst später durch Biologen/Genteiker in der Natur 
nachgewiesen.
Die ES dagegen lieferten sehr schnell praxisrelevante Ergebnisse. Zb. 
oprimierten sie die Statik von Kranen oder ähnlichen Tragkonstruktionen. 
Das verblüffende war aber das die Biologen später ähnliche "Verfahren" 
zb. beim Wachstum von Pflanzen nachweisen konnten. Oder sie optimierten 
Düsenformen für Düsen die ein Gas-Flüssigkeits-Gemisch benutzten und 
fanden dadurch sehr verblüffende Düsenformen die der menschlichen 
Intuition und sogar dem bisherigen Ingenieurswissen widersprachen. Das 
verblüffende daran? später fanden Biologen bei der Untersuichung von 
Häuten verschiedenster Fische, zB. Haien, ähnliche Strukten wie dei den 
vorher konstrueriten Düsen. Aber auch in rein theoretischen Bereichen, 
wie zB. der Mathematik, brachten die ES frappierende Erfolge. Z.b. bei 
der Erforschung des Problems des Handlungsreisenden.

Und so kann man die Liste fortsetzen. Es zeigt aber das die "Kodierung" 
nicht so die große Rolle spielt solange man die Gesetzmäßigkeiten 
korrekt anwendet. Und exakt so ist es auch bei den Neuronalen 
Netzwerken. Deren "Kodierung" sprich Hardware ist garnichtmal so 
entscheidend sondern die Gesetzmäßigkeiten der Wirkungs-/Funktionsweise 
ist es.

Die meisten heutigen NNs versuchen erst garnicht unsere Hirne 
nachzubauen, wozu auch. Sie sollen ganz andere Probleme für uns lösen 
mit denen wir viel größere Schwierigkeiten haben als solche NNs.

Gruß Hagen

Autor: FPGAfan (Gast)
Datum:

Bewertung
1 lesenswert
nicht lesenswert
Hagen R. schrieb:
> Ein Recurrentes Cascade Correlation Neuronales Netzwerk hat folgende
> Eigenschaften:

Ok das sehe ich ein, meine Kritik kann sich also nicht auf alle Arten 
von KNN beziehen.

Hagen R. schrieb:
> Davon abgesehen: auch unsere natürlichen NNs arbeiten mit
> Backpropagation und Aktivierungsfunktionen.

Nein für die Backpropagation gibt es so in der Form in biologischen NN 
nicht. Kannst mir aber gerne Arbeiten oder Quellen nennen die das 
nachweisen sollen, man hat nur Hinweise gefunden die man dahingehend 
deuten kann.
Im Gehirn gibt es keine direkte Rückkopplung auf einzelne Synapsen nach 
dem Prinzip "das Ergebnis passt nicht, verändere die Effektivität der 
synaptischen Verbindung".
Nach der Theorie der Selektion Neuronaler Gruppen von Gerald M. Edelman 
ist vielmehr von einem großen Repertoire an synaptischen Verbindungen 
auszugehen.
Einfach gesagt bietet das Gehirn so viele und vielfältige synaptische 
Verbindungen dass sich in diesem Netz eine Verbindungskette finden lässt 
die zum gewünschten Ergebnis annähert. Durch wiederholte Aktivierung der 
passenden Netze wird die angenäherte Lösung verstärkt und die Annäherun 
kommt dem endgültigen Ergebnis sehr nahe.
Die Backpropagation in KNNs versucht vielmehr das vorhandene Netz 
ständig umzuformen im Lernprozess während das Gehirn vielmehr von seinem 
großen Repertoire schöpft um die richtige Verbindungskette anzunähern.

Hagen R. schrieb:
> Jo in so machem NN herrscht Chaos aber in den meisten Hirnen sicherlich
> nicht und schon garnicht auf struktureller Ebene meines NNs. Natürliche
> Neuronale Netzwerke haben mit Chaos überhaupt nichts gemein. Wäre dem so
> so könnten natürliche NNs Zufallsentscheidungen treffen, aber exakt das
> können sie eben nicht, besonders nicht menschliche Hirne.

Ein solches Denken resultiert wenn man Maschinen und Computer mit 
Gehirnen gleichsetzt.
Natürlich bringt das Gehirn eindeutige Ergebnisse und das Verhalten ist 
an eine komplexe Kette von Bedingungen geknüpft.
Trotzdem spielt der Zufall und der Chaos eine bedeutende Rolle in 
neuronalen Netzen.
Der Mensch wird mit einem Repertoire an synaptischen Verbindungen 
geboren. Kleinkinder und Säuglinge besitzen sogar mehr synaptische 
Verbindungen als Erwachsene (diese nimmt mit der Zeit ab während neue 
Verbindungen mit den vorhandenen Synapsen entstehen). Das ganze ist als 
Synaptic pruning bekannt. Im Laufe der Entwicklung des Gehirns werden 
die synaptischen Verbindungen abgebaut und es bleiben tendenziell die 
Synapsen erhalten die häufig aktiviert werden.
Man wird also mit einem Repertoire an synaptischen Verbindungen geboren 
und die häufig aktivierten Verbindungen bleiben durch Verstärkung der 
synaptischen Verbindungen.
Und dieses Repertoire an synaptischen Verbindungen das mit der Geburt 
und der Gehirnentwicklung gegeben wird sieht bei jedem Mensch anders 
aus. Es ist kein genetisch vorgegebenes Ausgangspunkt aller menschlichen 
Gehirne.
Es wird auch allgemein angenommen dass die DNA eines Menschen nicht 
genug Informationsspeicher bietet um die Verbindung aller Synapsen 
vorzugeben.
Die DNA gibt vielmehr die Grundstruktur, die Grundregeln zum Wachstum 
dieser synaptischen Verbindungen.
Kurz gesagt gibt es den Zufall in diesem Prozess. Die synaptischen 
Verbindungen entstehen zufällig im Rahmen genetischer 
Grundvoraussetzungen.
Aus diesem zufälligen Repertoire können alle möglichen angenäherten 
Lösungen gefunden werden. Aber es ist kein starres Gebilde. Die 
einzelnen Neuronen verändern ihr Verhalten und die synaptische Aktivität 
abhängig von Aktivität, Hormonen usw.
Das heißt diese zufälligen synaptischen Verbindungen werden nicht nur 
verstärkt, es erfolgt euch ein Wandel bestehender Netzwerke.
Ich nehme an dass die angenäherten Lösungswege aus dem initialen 
Repertoire dadurch noch weiter angenähert werden (Lernprozess, Jahre an 
Erfahrung = massive Verbesserung gewünschter Verhaltensweisen).

Ich sollte mich kurz fassen. Es gibt viele Befunde die dafür sprechen 
dass die eindeutigen Verhaltensweise die wir kennen nicht das Resultat 
eindeutiger Vorgänge ist wie die aus einem Computer. Sondern 
statistische Ergebnisse darstellen. Das Gehirn findet sozusagen Lösungen 
(ob intellektuelle oder körperliche Bewegungen) durch angenäherte 
statistische Vorgänge. Aus einer Fülle von viel Unordnung und bisschen 
Ordnung der synaptischen Aktivitäten kommt nach Aktivität von Millionen 
von Neuronen eine erstaunliche genaue Ordnung hervor.

Das selbe Phänomen kann man auch in der Physik beobachten. Das Verhalten 
von Elementarteilchen kannst du nur statistisch angeben. Das ist kein 
Mangel der Messgenauigkeit der Geräte, sondern wie Heisenberg aufzeigte 
eine reale Eigenschaft der Materie.
Aus vielen Trillionen fluktuierender Elementarteilchen entstehen in 
makroskopischen Größen Gesetzmäßigkeiten die man aus der klassischen 
Mechanik kennt.
Das solle keine direkte Analogie zum Gehirn sein, sondern das Prinzip 
veranschaulichen wie aus chaotischen Vorgängen mit wenigen Gesetzen 
geordnete große Strukturen hervorgehen können.

In dem Sinne gibt es einen gewissen Chaos, ein Art Rauschen in den 
neuronalen Netzen, doch die biologischen Gesetzmäßigkeiten formen dieses 
Rauschen derart das im Gesamtergebnis eine deutlich erkennbare Funktion 
entsteht.
Wenn du aber versuchst einzelne Neuronen irgendeiner klaren 
Funktionskette zuzuordnen wirst du nur Rauschen feststellen. Entfernst 
du dieses Neuron wird das Gehirn weiterhin Ergebnisse richtig liefern.

Die statistische Funktionsweise neuronaler Netze hat biologisch 
offensichtlich Vorteile. Sie sind evolutionär gesehen auch 
wahrscheinlicher als die Entstehung exakt klarer Mechanismen wie in 
Computern. Außerdem ist ein solcher Mechanismus wie geschaffen für ein 
adaptisches Verhalten und es besitzt dadurch auch eine gewisse 
Redundanz. Das absterben einiger Neurone führt nicht direkt zum 
vollständigen Funktionsverlust, die chaotischen aber statistischen 
eindeutigen Vorgänge finden trotzdem zum Ziel. Erst wenn eine kritische 
Anzahl an Neuronen wegfällt wird das statische Ergebnis zunehmend 
instabiler.

Hagen R. schrieb:
> Dazu habe ich mit dem oben erwähnten RCC-NN ein sehr einfaches Spiel
> programmiert. Zwei Buttons, rot und grün. Der Mensch könnte sich frei
> entscheiden ob er den grünen oder roten Schalter betätigt. Im
> Hintergrund lief in Echtzeit ein RCC-NN und erlernte die Muster die der
> Mensch benutzte um die Schalter nacheinander zu drücken. Vor jeder
> Betätigung traf das RCC-NN eine Prognose welchen der Schalter der Mensch
> als nächstes drückt. Dabei aber nur basierend auf den Daten die es seit
> Spielbegin als Vergleichsdaten hatte.
>
> Schon nach ca. 100 Durchläufen hatte das NN eine
> Prognosewahrscheinlichkeit von >65% erreicht, egal für welche Taktik
> sich der Mensch entschieden hat. Nur wenn der Mensch schummelte und
> einen Würfel benutzte lag das NN mit 50% Wahrschenlichkeit in der
> statistischen Bandbreite von Zufall = Raten.

Diese Prognose ist eine statistische Prognose. Eine Menge chaotischer 
Vorgänge aus denen man eine bestimmte Wahrscheinlichkeit ableiten kann. 
Es ist nicht das Ergebnis geordneter Berechnungen.
Solche statistischen Gesetzmäßigkeiten gibt es im menschlichen Verhalten 
also im Gehirn sehr viele und sie sprechen alle für die oben 
beschriebene Funktionsweise. Ordnung aus Unordnung oder genauer gesagt 
Mehr Ordnung aus weniger Ordnung.

Hagen R. schrieb:
> Unsere Hirne sind nicht in der Lage zufällige Entscheidungen zu treffen,
> dies wäre aber ein zwingendes Indiz oder eben eine Folge für dein
> sogenanntes "Chaos".

Der Zufall folgt statistischen Gesetzmäßigkeiten. Der Chaos bzw. der 
Zufall wirkt mit. Anders ist ein daptisches Verhalten gar nicht möglich.
Es ist wie in der Evolution. Die komplexen Körper sind nicht das 
Ergebnis eines exakt planenden Konstrukteurs sondern Zufall und 
Selektion brachten die komplexen biologische Systeme hervor.
Viele werden aber Mühe damit zu haben zu verstehen und zu akzeptieren 
dass der menschliche Geist und sein adaptisches Verhalten ähnlichen 
Mechanismen folgt. Also Mechanismen von Versuch und Irrtum, grob gesagt. 
Anders ist die Natur nicht in der Lage das Phänomen genannt Intelligenz 
hervorzubringen. Ohne einen Konstrukteur ist der Zufall und die 
Naturgesetze das einzige was so was hervorbringen kann.

Ich kann dazu Edelmans Arbeiten empfehlen. Er verbindet das evolutionäre 
Populationsdenken auf die Funktionsweise des Gehirns an und kommt zu 
interressanten Schlussfolgerungen. Auf die Idee kam er durch seine 
Arbeiten am Immunsystem wofür er den Nobelpreis erhielt, wo er und 
andere feststellen das unser Immunsystem keine übergeordnete Intelligenz 
oder eine DNA orientierte Information besitzt um die passenden 
Antikörper gegen Fremdkörper zu entwickeln sondern dass das Immunsystem 
eine Vielzahl an zufälligen Antikörpern produziert und das nach dem 
Zufallsprinzip sich irgendwann ein Antikörper findet der die passende 
Struktur aufweist um sich an das Fremdkörper zu binden. Erfolgt dieser 
biologische Prozess einmal werden weitere biologische Signale erzeugt 
die dazu führen dass genau dieses Antikörper vermehrt wird.
In der Folge entsteht ein intelligentes also ein adaptives Verhalten des 
Immunsystem. Der Zufall, der Chaos der zufälligen Antikörper, erzeugt 
schlussendlich das intelligente bzw. gewünschte Verhalten.

Hagen R. schrieb:
> Und so kann man die Liste fortsetzen. Es zeigt aber das die "Kodierung"
> nicht so die große Rolle spielt solange man die Gesetzmäßigkeiten
> korrekt anwendet. Und exakt so ist es auch bei den Neuronalen
> Netzwerken. Deren "Kodierung" sprich Hardware ist garnichtmal so
> entscheidend sondern die Gesetzmäßigkeiten der Wirkungs-/Funktionsweise
> ist es.

Da stimme ich dir im Grunde zu. Es ist ja erstaunlich wie brauchbar KNNs 
sind obwohl sie nur ein Stück von dem repräsentieren was man von 
biologischen NN kennt. Den Nutzen dass es heute hat bestreite ich nicht. 
Aber die Weiterentwicklung verläuft doch schon ziemlich träge, obwohl 
man hätte versuchen können aus der Biologie noch mehr zu lernen.
Oder anders gesagt, man hätte noch mehr versuchen können von der Natur 
zu lernen, nicht im Sinne von wir bauen 1 zu 1 das Gehirn nach sondern 
herausfinden wie die Natur diese Netze nutzt. Denn KNN sind weit von den 
Fähigkeiten echter NN entfernt und ich sehr nur eine sehr langsame 
Weiterentwicklung.
Viele Fortschritte basieren wohl eher auf der gewachsenen Rechenleistung 
heutiger Hardware, weniger auf der Weiterentwicklung der KNN.

Hagen R. schrieb:
> Die meisten heutigen NNs versuchen erst garnicht unsere Hirne
> nachzubauen, wozu auch. Sie sollen ganz andere Probleme für uns lösen
> mit denen wir viel größere Schwierigkeiten haben als solche NNs.

Für die Praxis ist das verständlich. Aber in meinen Augen ist das große 
Ziel die Denkfähigkeit biologischer NN zu modellieren. Es lässt sich 
kaum bestreiten dass ein solches NN die überlegenste Fähigkeit der 
Kategorisierung und Entscheidungsfindung besitzt.
Ich glaube man kann sich in Bereiche annähern die beeindruckende 
Leistungen ermöglichen noch lange bevor man von einem bewussten System 
sprechen kann wie beim Menschen.
Wenn man bedenkt wie intelligent Tiere sich verhalten können entweder 
mit gar keinem oder einem weniger ausgeprägten Bewusstsein.

Autor: Fitzebutze (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Ohne den ganzen Sermon jetzt im Detail gelesen zu haben: Es gibt längst 
was anderes als stupide Feed-Forward-Netze.
Guckt euch - wenn nicht schon getan - mal die Arbeiten von Herrn Kohonen 
an.

Das lustige an diesen Kohonen-Maps ist: Sie formieren sich selbstlernend 
wie Neuronen. Irgendjemand hat mal die Struktur mit einem Katzen-Gehirn 
verglichen.
Ob das alles auf einem FPGA Sinn macht, bezweifle ich.
Aber bestimmt liesse sich ein für NN-Berechnungen optimierter 
DSP-Multicore auf dem FPGA realisieren, for the academic fun of it.

Nur dass oft für ganz profane Verarbeitung/Erkennung (Bildverarbeitung, 
zb) klassische Verfahren total ausreichen, und Support-Vektor-Maschinen 
die hippen NN-Ansätze eben doch wieder ganz pragmatisch ersetzen.

Autor: S. R. (svenska)
Datum:

Bewertung
3 lesenswert
nicht lesenswert
Die technische Fliegerei ist auch nicht aus dem Versuch entstanden, 
Vögel nachzubauen. Aktuelle Flugzeuge haben keine schlagenden, 
befiederten Flügel und extraleichte Hohlknochen. U-Boote haben mit Walen 
auch nur recht wenig gemeinsam.

Warum sollte die KI-Forschung die Hirnstrukturen exakt nachbilden 
wollen? Menschengehirne erschaffen können wir schon ziemlich lange, 
das ist ein gelöstes Problem...

Es geht darum, die zugrundeliegenden Mechanismen zu verstehen. Und 
selbst wenn man falsch liegt, solange das Ergebnis funktioniert, ist es 
trotzdem nützlich.

Autor: Gagamel (Gast)
Datum:

Bewertung
-1 lesenswert
nicht lesenswert
S. R. schrieb:
> Aktuelle Flugzeuge haben keine schlagenden,
> befiederten Flügel und extraleichte Hohlknochen.
Hohlknochen schon! Und das Gefider, das die Wirbel reduziert wird 
indirekt auch kopiert.

> U-Boote haben mit Walen
> auch nur recht wenig gemeinsam.
Denkste! Die strömungsgünstigen Effekte der Walflossen und des Körpers 
an sich, stecken in praktisch jedem Boot!


> Menschengehirne erschaffen können wir schon ziemlich lange,
> das ist ein gelöstes Problem...
Ach ja? Du meinst aber nicht die BOTs, die Wahlen beeinflussen und für 
Kosmetik werben oder die vielen Follower füttern, oder?

Welche Gehirne haben Menschen denn geschaffen, die was leisten?

Autor: Markus -. (mrmccrash)
Datum:

Bewertung
1 lesenswert
nicht lesenswert
Gagamel schrieb:
> S. R. schrieb:

>> Menschengehirne erschaffen können wir schon ziemlich lange,
>> das ist ein gelöstes Problem...
> Ach ja? Du meinst aber nicht die BOTs, die Wahlen beeinflussen und für
> Kosmetik werben oder die vielen Follower füttern, oder?
>
> Welche Gehirne haben Menschen denn geschaffen, die was leisten?

Frag mal deine Eltern ;-)

: Bearbeitet durch User
Autor: S. R. (svenska)
Datum:

Bewertung
1 lesenswert
nicht lesenswert
Gagamel schrieb:
> Hohlknochen schon! Und das Gefider, das die Wirbel reduziert wird
> indirekt auch kopiert.

Nein. Vögel angeschaut, die Funktionsweise verstanden, das Problem 
gelöst. Nicht "den Vogel kopiert". Auch nicht indirekt.

> Denkste! Die strömungsgünstigen Effekte der Walflossen und des Körpers
> an sich, stecken in praktisch jedem Boot!

Ja. Aber das ist nicht so, weil der Wal das so macht, sondern weil wir 
wissen, dass das, was der Wal macht, effizient ist.

Bemerke den Unterschied.

Autor: Jürgen S. (engineer) Benutzerseite
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Fitzebutze schrieb:
> Das lustige an diesen Kohonen-Maps ist: Sie formieren sich selbstlernend
> wie Neuronen. Irgendjemand hat mal die Struktur mit einem Katzen-Gehirn
> verglichen.
> Ob das alles auf einem FPGA Sinn macht, bezweifle ich.

Warum nicht in FPGAs? Die Strukturen, die man für neuronale Netze 
benötigt, soweit ich sie kenne, sind nicht nur rein virtueller Art, 
sondern bedürfen ganz bestimmter Architakturen, um Informationen 
zwischen Zellen weiterzugeben. Dies würde in SW in Zeitscheiben 
passieren, im FPGA gleichzeitig. Das sollte effizienter sein, oder?

Autor: S. R. (svenska)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Jürgen S. schrieb:
> Warum nicht in FPGAs?

Weil die Datenmengen zu groß sind.

Jürgen S. schrieb:
> Dies würde in SW in Zeitscheiben passieren, im FPGA gleichzeitig.

Die verwendeten Algorithmen lassen sich auch in Software sehr gut 
parallelisieren (bzw. vektorisieren). Aktuelle GPUs sind da sehr im 
Vorteil, auch gegenüber FPGAs. Wobei Google ja seine eigenen Chips 
entwickelt hat.

Autor: Hagen R. (hagen)
Datum:

Bewertung
1 lesenswert
nicht lesenswert
Jürgen S. schrieb:
> Warum nicht in FPGAs? Die Strukturen, die man für neuronale Netze
> benötigt, soweit ich sie kenne, sind nicht nur rein virtueller Art,
> sondern bedürfen ganz bestimmter Architakturen, um Informationen
> zwischen Zellen weiterzugeben. Dies würde in SW in Zeitscheiben
> passieren, im FPGA gleichzeitig. Das sollte effizienter sein, oder?

Ja das ist korrekt. Man muß aber zwei Betriebsmodis unterscheiden: 1. 
der Runtime Modus der NNs. In diesem ist das Netzwerk fertig trainiert 
und wird nur für seine eigentliche Aufgabe der Klassifizierung benutzt. 
Das lässt sich besonders mit speziellen NNs hervorragend in FPGAs 
parallelisieren.
2. die Lernphase/Trainingsphase der NNs. Das lässt sich nur extrem 
schwierig und nur teilweise parallelisieren.

Die Peformance heutiger NNs ist für den 1. Fall selbst für normale 
CPUs/GPUs ausreichend schnell. Der 2. Fall, das Training ist es was man 
performanter haben möchte da dies ungleich viel mehr an Rechenzeit 
benötigt.

Autor: Jürgen S. (engineer) Benutzerseite
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Hagen R. schrieb:
> Die Peformance heutiger NNs ist für den 1. Fall selbst für normale
> CPUs/GPUs ausreichend schnell. Der 2. Fall, das Training ist es was man
> performanter haben möchte da dies ungleich viel mehr an Rechenzeit
> benötigt.
Wäre die Frage, was es an Flexibilität in der SW benötigt, um das 
Training zu leisten und wie schnell und effektiv man das ins FPGA 
bekommt.
Ich sehe da z.B. so etwas wie HIL mit System Generator und automatisch 
erzeugtem VHDL-Code. Allerdings habe ich meine Probleme mit 
vorzustellen, wie man da Parallelität rei nbekommt.

Autor: S. R. (svenska)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Für das Training brauchst du massiv Speicher. Wir haben ein paar 
Experimente gemacht (Bildverarbeitung). Je nach Batchsize liegt man 
schnell im zweistelligen GB-Bereich für einen Trainingsdurchlauf und 
dazu kommt noch das Vorhalten der gesamten Trainingsdaten, was gerne im 
TB-Bereich liegen kann.

Es gibt einen Grund dafür, dass Amazon, Google usw. ganze Rechenzentren 
mit Trainingsmaschinen bepflastern. Das Problemfeld wirkt nicht so, als 
ob FPGAs da glänzen könnten, höchstens wenn sie extrem nah an der CPU 
sind, also z.B. per QPI angebunden.

Autor: Hagen R. (hagen)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Und die Frage ist dann was diese FPGAs noch an Arbeit abbekämen die sich 
dafür lohnt weil sie parallelisierbar ist. Ich denke zZ. sind FPGAs für 
NNs nur für die effizente Abarbeitung schon trainierter NNs sinnvoll, 
und dann müsste man schon wie Google und Co. enorme Datenmengen 
auswerten wollen. Aber dann kommt man in Bereiche wo spezielle 
Prozessorenkerne die für die Abarbeitung von NNs konzipiert wurden FPGas 
den Rang ablaufen.
Meiner Meinung nach würde sich da das Training bei Genetischen 
Algorithmen/Evolutions Strategieen eher lohnen auf FPGAs.

Die Komplexität des Trainingsprozesses scheint mit den Jahren immer mehr 
anzuwachsen. Als ich anfing vor 20 Jahren kannte man nur wenige 
Trainingsverfahren wie zB. Backpropagation. Sehr schnell wurde deren 
Komplxität erhöht durch Speed-Prop-Slope-Backpropagation usw. Dann mit 
Aufkommen des Cascade Correlation Netzwerkes wurde das Training mit 
Hilfe von Verfahren der Genetischeb Alogrithmen erweitert, adaptiver 
gestaltet. Man trainiert zB. gleichzeitig mehrere Netzknoten die in 
Konkurrenz stehen und wählt dann den fittesten aus. Man benutzt also 
evolutionäre Taktiken bei den Einzelschritten des Trainings der 
Netzwerke um deren Trainingsynamiken positiv zu beeinflussen. Ich würde 
also sagen das die Trainingsverfahren immer komplexer werden.
Man benlötigt also maximale Flexibilität bei der Entwicklung solcher 
Trainingsverfahren. Ich würde sowas niemals in ein FPGA pressen wollen, 
in der gleichen Zeit was das konstet um einfaches Backpropagation zu 
implementieren bin ich auf einem Standard-PC mit der Aufgabe mehrfach 
durch.

Autor: Turmfalke@Elfenbeinturm (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Fitzebutze schrieb:
> Ob das alles auf einem FPGA Sinn macht, bezweifle ich.
> Aber bestimmt liesse sich ein für NN-Berechnungen optimierter
> DSP-Multicore auf dem FPGA realisieren, for the academic fun of it.

Kalter Kaffee, sogar Siemens hat damit im vergangenen Jahrtausend Geld 
verbrannt:

https://www.semanticscholar.org/paper/SYNAPSE-1%3A...

Wenn etwas mund- und modegerecht den Studenten vorgeworfen wird wie 
heutzutage deep learning, ist die akademische Drecksarbeit schon vor 
Jahrzehnten von den heutigen alten Herren geleistet worden... 
akademischer Lorbeer ist damit nicht mehr zu verdienen.

Autor: FPGAfan (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
S. R. schrieb:
> Warum sollte die KI-Forschung die Hirnstrukturen exakt nachbilden
> wollen? Menschengehirne erschaffen können wir schon ziemlich lange,
> das ist ein gelöstes Problem...

Nein, es ist immer noch eines der größten Herausforderungen vor dem die 
Menschheit steht und im Geflecht der Philosophen und Gläubigen finden 
sich auch genug Leute die meinen das wäre nie möglich.
Das Gehirn ist in seinem elementaren Aufbau mit den Neuronen verstanden 
aber nicht als zusammenhängendes System. Und genau dieses System ist es 
das die kognitiven Fähigkeiten hervorbringt.


S. R. schrieb:
> Für das Training brauchst du massiv Speicher. Wir haben ein paar
> Experimente gemacht (Bildverarbeitung). Je nach Batchsize liegt man
> schnell im zweistelligen GB-Bereich für einen Trainingsdurchlauf und
> dazu kommt noch das Vorhalten der gesamten Trainingsdaten, was gerne im
> TB-Bereich liegen kann.

Das Gehirn kann verschiedene Zustände in seinen Neuronen und 
synaptischen Verbindungen der Neuronen speichern. Das geschieht über ein 
komplexes System an Transmittern und Hormonen, aber letztendlich sind 
Neuronen und deren variable Verbindung mit den Synapsen und Axonen der 
Datenträger. Natürlich gleichzeitig auch die verarbeitende Entität.

Wenn man KNNs entwickelt und dabei große Datenmengen anfallen die selbst 
in dem KNN (in den Knotenpunkten und den Verbindungen untereinander) 
nicht repräsentiert sind, dann benutzt man wahrscheinlich ein 
Algorithmus mit einer großen Entfernung zum biologischen Vorbild.
Die Informationen im Gehirn sind in den Neuronen und Synapsen codiert, 
da gibt es keinen anderen Speicher der Informationen für die Neuronen 
und Synapsen behält.

Das kann man natürlich trotzdem machen. Nur dann ist das kein Abbild der 
Natur sondern eine Vermischung von ausgedachten Algorithmen und der 
Architektur biologischer Systeme.
Solche algorithmischen und Speicher Krücken außerhalb des Netzes zeigen 
außerdem dass man das Gehirn in solchen Dingen eben nicht nachbilden 
kann, weil niemand die Wechselwirkung zwischen neuronalen Karten im 
Gehirn bisher vollständig versteht.

Deswegen sind künstliche Modelle von NN voll von abstrakten Größen in 
Speicherzellen die keine neuronale Repräsentation im Netz besitzen.

Autor: Hagen R. (hagen)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
FPGAfan schrieb:
> Wenn man KNNs entwickelt und dabei große Datenmengen anfallen die selbst
> in dem KNN (in den Knotenpunkten und den Verbindungen untereinander)
> nicht repräsentiert sind, dann benutzt man wahrscheinlich ein
> Algorithmus mit einer großen Entfernung zum biologischen Vorbild.
> Die Informationen im Gehirn sind in den Neuronen und Synapsen codiert,
> da gibt es keinen anderen Speicher der Informationen für die Neuronen
> und Synapsen behält.

Und exakt so ist es auch bei KNNs.

Aber was du gründlich missverstehts ist worüber S.R. eigentlich redet. 
Er meint den Speicherbedarf der für das Training benötigt wird und das 
sind die Input/Output Daten zum Training ansich. Bevor du den Einwand 
erhebst das dies bei natürlichen Hirnen nicht identisch wäre, auch in 
der Natur ist es vergleichbar so. Nur mit dem Unterschied das diese 
Daten durch die komplette Umwelt dieser Hirne repäsentiert wird. Die 
Umwelt von KNNs besteht dagegen eben aus digitalen Daten und nicht aus 
Materie und Energie wie unsere natürliche Umwelt.

Der einzige Unterschied den ich erkennen kann liegt darin das unsere 
Hirne für sich selber eben auch eine materielle Umwelt darstellen. Damit 
meine ich zb. den von dir besagten EInfluß von Hormonen. Übertragen auf 
KNNs würde dies bedeuten das die physikalischen Strukturen der KNNs, 
also die Transistoren auf dem Die, durch Mechanismen die durch das KNN 
ausgelöst werden, phsikalisch in ihrer Arbeitsweise verändert würden. 
Aber auch dies kann man auf Umwegen und vereinfacht modellieren.

Die größte zZ. existierende Hürde bei dem Versuch ein KNN auf das Niveau 
natürlicher Hirne zu bekommen besteht in der Komplexität und der sich 
daraus ergebenden Rechenpower. Und da hat die Technologie noch längst 
nicht mit der Natur gleichgezogen. Stellen wir uns aber mal vor das die 
Entwicklung in der Quantenrechnertechnik weiter vorangeht, dann bin ich 
der Meinung das dort ein Potential liegt das Quantenrechner-KNNs sogar 
die Leistungsfähigkeit natürlicher Hirne weit übersteigen könnte.

Gruß Hagen

: Bearbeitet durch User
Autor: Hagen R. (hagen)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
FPGAfan schrieb:
> Deswegen sind künstliche Modelle von NN voll von abstrakten Größen in
> Speicherzellen die keine neuronale Repräsentation im Netz besitzen.

Quatsch. Diese Speicherzellen repräsentieren exakt diese Neuronen und 
deren Verküpfungen untereinander. Exakt dies definiert ja ein KNN.

Autor: Hagen R. (hagen)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
FPGAfan schrieb:
> Solche algorithmischen und Speicher Krücken außerhalb des Netzes zeigen
> außerdem dass man das Gehirn in solchen Dingen eben nicht nachbilden
> kann, weil niemand die Wechselwirkung zwischen neuronalen Karten im
> Gehirn bisher vollständig versteht.

Weil man sowas bisher noch nicht versteht implizierst du die Folge das 
es niemals nachzubauen wäre, geile Logik.

Autor: Hirnschaden, H. (Firma: Happy Computing MDK Inc.) (hirnschaden)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Ainen gudden!

FPGAfan schrieb:
> Künstliche Neuronale Netze werfen für mich aber auch für andere die
> Frage auf inwiefern es sich eigentlich wirklich um künstliche neuronale
> Netze nach dem Vorbild der Natur handelt.

Da hast Du völlig freie Hand.

Die Vorteile von Neuronalen Netzen sind natürlich bestechend. In einem 
solchen totalen Chaos kann man praktisch jede Struktur erzeugen. Unter 
Anderem praktisch unbegrenzte Speicherkapazität wobei der ganze Krempel 
auch noch völlig selbsttätig eingeordnet wird.

Aber dazu muß man leider sehr, seeehr viel weiter ausholen.

Dwianea
hirnschaden

Autor: Hirnschaden, H. (Firma: Happy Computing MDK Inc.) (hirnschaden)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
P.S.:
Je weniger man ausholt um so mehr wird es zu einer Frage der Zeit. Und 
25 Jahre sind kein Pappenstiel. Und damals in den 70ern haben mir ein 
paar Tauben mal regelrecht aufgelauert. Oder ich bin tatsächlich nich' 
ganz dicht.

Wahrscheinlich deswegen. 🐴

Autor: Andi F. (chefdesigner)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Ich glaube, so langsam geht die Diskussion um NN in eine Richtung, bei 
der ich mich frage, ob die NN der Schreiber noch i.O. sind.

Ich fände es nett, wenn sowas sachlich diskutiert würde, damit es einen 
Wert hat den thread zu abbonieren und mitzulesen.

Autor: FPGAfan (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Hagen R. schrieb:
> Weil man sowas bisher noch nicht versteht implizierst du die Folge das
> es niemals nachzubauen wäre, geile Logik.

Ich habe so etwas nicht geschrieben. Du implizierst da selbst was 
hinein.

Hagen R. schrieb:
> Die größte zZ. existierende Hürde bei dem Versuch ein KNN auf das Niveau
> natürlicher Hirne zu bekommen besteht in der Komplexität und der sich
> daraus ergebenden Rechenpower.

Ich bin mir da nicht sicher. Ein Blick in die Hirnforschung zeigt dass 
noch viel geforscht wird.
Ein Quantencomputer würde zwar leistungsfähigere KNNs ermöglichen aber 
ich sehe nirgendwo ein theoretisches Modell mit KNNs das menschliche 
Kognition hervorbringen könnte und das nur darauf wartet das genug 
Rechenpower vorhanden ist.
Quantencomputer würden viele Forschungsbereiche beflügeln und auch die 
Arbeit an KNN oder die Hirnforschung.

Autor: FPGAfan (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Ich denke das FPGAs durchaus interessant sind für künstliche neuronale 
Netze. Man kann die Algorithmen direkt in Hardware implementieren und 
jederzeit wieder abändern.
Die Flexibilität ist höher, man muss die Berechnungen nicht zwingend an 
die Matrix Berechnungen einer GPU anpassen.
Sollen die Berechnungen später in speziellen ASICs implementiert werden 
ist die Vorarbeit in FPGAs auch sinvoll.

Manche neigen auch ein wenig dazu akademisches und wissenschaftliches 
Vorgehen mit praktischen Fällen abzuwürgen.
Mag ja sein dass ich meine ganz konkreten Aufgaben mit einem GPU Cluster 
schneller lösen kann als mit einem FPGA Cluster.
Oder das eine schnelle CPU häufig einfacher und schneller zum Ziel führt 
als die Implementierung in Hardware in einem FPGA.
Sollte man auch alles so machen wenn es um konkrete Aufgaben geht die es 
effizient zu bewältigen gilt.

Aber bei manchen hört sich dass so an als wäre alles andere eh sinnlos. 
So reden Leute die aufgehört haben zu forschen und nur noch die Aufträge 
ihres Arbeitgebers versuchen möglichst effizient zu lösen. Alles gut, 
nur die häufig mitschwingende Verbitterung klingt ein wenig traurig :D

Was denkt ihr über die Entwicklung von Memristoren und Neuristoren?
Ein Neuristor ist der Versuch einen Neuron in Hardware zu modellieren.
https://de.wikipedia.org/wiki/Neuristor
https://de.wikipedia.org/wiki/Memristor

Ich weiß nicht wie viele mögliche Verbindungen ein einzelnes Neuristor 
haben kann.
Ein einzelnes echtes Neuron kann tausende von synaptischen Verbindungen 
aufweisen.

Autor: S. R. (svenska)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
FPGAfan schrieb:
> Ich denke das FPGAs durchaus interessant sind für künstliche neuronale
> Netze. Man kann die Algorithmen direkt in Hardware implementieren und
> jederzeit wieder abändern.

Dem stimme ich zu, und dass Google ASICs für TensorFlow entwickelt hat, 
zeigt auch, dass da ein wahrer Kern dran ist.

FPGAfan schrieb:
> Die Flexibilität ist höher, man muss die Berechnungen nicht zwingend an
> die Matrix Berechnungen einer GPU anpassen.

Die meisten Netze, die ich bisher gesehen habe, arbeiten schichtweise, 
und unterschiedliche Typen gibt es innerhalb einer Schicht eigentlich 
nicht. Deswegen lässt sich der Kram ja so wunderbar auf GPUs 
vektorisieren - es ist per Konstruktion schon auf Matritzen angepasst.

FPGAfan schrieb:
> Mag ja sein dass ich meine ganz konkreten Aufgaben mit einem
> GPU Cluster schneller lösen kann als mit einem FPGA Cluster.

Das ist derzeit der Fall, und ich fürchte - aus den bereits genannten 
Gründen - dass es auch auf längere Zeit so bleiben wird, wenn man nicht 
gerade mit sehr viel Geld um sich schmeißt.

FPGAfan schrieb:
> Was denkt ihr über die Entwicklung von Memristoren und Neuristoren?

Ich habe mit Spannung die Verkündung von Memristoren verfolgt, 
insbesondere weil damit das Ende der Speicherprobleme beschieden wurde 
(als ET-Student natürlich auch aus anderen Gründen).

Wenn sich daraus einigermaßen zuverlässiger, nichtflüchtiger Speicher 
mit 10% DRAM-Geschwindigkeit, nahezu keinem Stromverbrauch und 5x 
höherer Speicherdichte hätte herstellen lassen, hätte sich die 
Embedded-Welt definitiv darauf gestürzt wie ausgehungerte Wölfe auf ein 
Steak.

Real absehbar ist davon allerdings - nichts. Vaporware. Leider.

Autor: FPGA-Ingenieur (Gast)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
S. R. schrieb:

> Wenn sich daraus einigermaßen zuverlässiger, nichtflüchtiger Speicher
> mit 10% DRAM-Geschwindigkeit, nahezu keinem Stromverbrauch und 5x

Welche Art des Speichers siehst Du denn für den embedded Bereich der 
Zukunft?

Autor: S. R. (svenska)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
FPGA-Ingenieur schrieb im Beitrag #5530622:
> Welche Art des Speichers siehst Du denn
> für den embedded Bereich der Zukunft?

Ich habe den status quo vor Augen:
Kleine Controller mit wenig SRAM, große SoCs mit viel DRAM.
Gern auch große Mengen integrierten DRAMs außerhalb des SoCs, in der 
Peripherie. Gibt's schließlich auch schon.

Der Grund, dass ich kein Vertrauen in neue Speichertechnologien habe:
>> Real absehbar ist davon allerdings - nichts. Vaporware. Leider.

: Bearbeitet durch User
Autor: Wolfgang R. (Firma: www.wolfgangrobel.de) (mikemcbike)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
FPGAfan schrieb:
> Was war das coolste und abgefahrenste was ihr mit einem FPGA mal gemacht
> habt?

Pong.

http://www.wolfgangrobel.de/fpga/fpga05.htm

Ist aber noch nicht ganz fertig...

: Bearbeitet durch User
Autor: Andi F. (chefdesigner)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Wolfgang R. schrieb:
> http://www.wolfgangrobel.de/fpga/fpga05.htm
>
> Ist aber noch nicht ganz fertig...
Benötigt man für diese Anwendung wirklich einen FPGA?

Autor: S. R. (svenska)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Andi F. schrieb:
> Benötigt man für diese Anwendung wirklich einen FPGA?

Nö. Dennoch ist es cool. :-)

Autor: Wolfgang R. (Firma: www.wolfgangrobel.de) (mikemcbike)
Datum:

Bewertung
0 lesenswert
nicht lesenswert
Andi F. schrieb:
> Benötigt man für diese Anwendung wirklich einen FPGA?

Nein, 100 TTLs reichen...

http://www.wolfgangrobel.de/arcadetalk/img_pcbs/po...

Oder ein AY-3-8500...

http://www.wolfgangrobel.de/handheld/interton.htm

Antwort schreiben

Die Angabe einer E-Mail-Adresse ist freiwillig. Wenn Sie automatisch per E-Mail über Antworten auf Ihren Beitrag informiert werden möchten, melden Sie sich bitte an.

Wichtige Regeln - erst lesen, dann posten!

  • Groß- und Kleinschreibung verwenden
  • Längeren Sourcecode nicht im Text einfügen, sondern als Dateianhang

Formatierung (mehr Informationen...)

  • [c]C-Code[/c]
  • [avrasm]AVR-Assembler-Code[/avrasm]
  • [vhdl]VHDL-Code[/vhdl]
  • [code]Code in anderen Sprachen, ASCII-Zeichnungen[/code]
  • [math]Formel in LaTeX-Syntax[/math]
  • [[Titel]] - Link zu Artikel
  • Verweis auf anderen Beitrag einfügen: Rechtsklick auf Beitragstitel,
    "Adresse kopieren", und in den Text einfügen




Bild automatisch verkleinern, falls nötig
Bitte das JPG-Format nur für Fotos und Scans verwenden!
Zeichnungen und Screenshots im PNG- oder
GIF-Format hochladen. Siehe Bildformate.

Mit dem Abschicken bestätigst du, die Nutzungsbedingungen anzuerkennen.