Stimme in Gebärdensprache umwandeln

Gast #2375152
Lesenswert?

Hallo Leute, ich habe vor, ein Programm zu erstellen, um Stimme in 
Gebärdensprache umzuwandeln, ein Projekt zur Hilfe von Gehörlosen 
Menschen. Ich habe schon einige Vorkenntnisse im Programmieren vom PIC 
im Programm C. Jedoch habe ich keine Ahnung wie ich das Programm die 
Stimme erkennen könnte, was für Bauteile ich dafür benutze, usw.  Könnte 
mir jemand bitte hier weiterhelfen?
Vielen Dank!
Anna
Gast #2375159
Lesenswert?

Prust.

Du hast offenbar noch nicht die simpelste Ahnung,
um was es geht.

Du musst nicht nur flüssig gesprochene Worte der
Stimme eines maximalen Wortschatzes sprecherunabhängig
erkennen können, sondern auch die semantische Bedeutung
der Worte erkennen, denn Gebärdensprache hat keine
wörtliche Übereinstimmung mit deutscher Sparche, sondern
nur eine entfernt semantische, die zudem von Mimik und
Geschwindigkeit abhängen.

Wenn du das gelöst hast, gibt es mindestens 3 Nobelpreise.

Da wirst du noch ein wenig wachsen müssen, bis du da Erfolg
hast.

Ein PIC wird das Problem jedenfalls nicht lösen, nicht mal
ein dsPIC.
#2375173
Lesenswert?

Hallo,
Um es vorsichtig auszudrücken: Wie willst du das anstellen. Was du da 
schreiben willst ist eine Software mit Spracherkennung. Drei Punkte 
warum dein Projekt auf einem normalen Mikrocontroller schon gestorben 
ist:
1) Der Controller wird nicht schnell genug alles verarbeiten können, um 
fließend einen Satz zu übersetzen. Selbst die ganz neuen AVRs auf 
ARM-Basis werden dass nicht schaffen können.
2)Der Controller müsste für die Darstellung eine gigantische Anzahl an 
Videos oder Bildern speichen und nach einander ausgeben. Das wird dein 
Prozessor nicht schaffen.
3) Wie erreichst du es dass der Controller die gesprochenen Worte 
richtig analysiert? Du müsstest ihm Vorgaben machen und einen kompletten 
Wortschatz von ziemlich vielen Wörtern abspeichern.

Zum Vergleich: Die neuste Generation von Smartphones mit 
2-Kernprozessorn oder mehr und mit 2GHz Systemtakt schaffen es gerade 
einzelne Wörter zu identifizieren.
-> Du hast keine Ahnung was das für ein Aufwand ist, was technisch 
möglich ist und hast dich noch nie mit AVRs außeinander gesetzt, da du 
sonst wüsstest, was er leisten kann und was ungefähr möglich ist.
Gruß Jannis
Gast #2375192
Lesenswert?

> Hallo, ich hatte eigentlich nicht vor, den gesamten Wortschatz zu
> übersetzen, sondern nur einige Sätze zum demonstrieren des Programmes.

Greif dir ein beliebiges Smartphone
und lach dich über deren angebliche Worterkennung schlapp,
auch ein PC mit Dragon NaturallySpeaking oder ähnlicher Software.

All das sind Rechner mit ERHEBLICH mehr Leistung als ein uC.
#2375215
Lesenswert?

Ein Beginn waere ein paar eintrainierte sprecherabhaengige Saetze zu 
erkennen. Auch da wuerde man einen PC verwenden. Wegen der 
Speicherkapazitaet. Denn der Rechner muss den gesprochenen Satz mit 
allen gespeicherten Moeglichkeiten Kreuzkorrelieren. Beim Trainieren 
muss der Rechner einen Parameterfit errechnen, sodass die einzelnen 
Samples in einem parameterierten Raum zusamenhaengen. Und beim 
Kreuzkorrelieren diesen Parameterraum abfahren. Das alleine ist schon 
jenseits einer Masterarbeit.
Gast #2375380
Lesenswert?

Hallo,

das das mit der Stimmerkennung nur in bestimmten Fachgebieten und nach 
einigen training der Spracherkennung auf eine bestimmte Person 
einigermaßen funktioniert ist ja bekannt.
Aber was macht unser Gehirn denn so "besonderes" das es an einen 
Computer nicht nachvollzogen werden kann ?
Warum ist es nicht möglich mit den bekannten techniken einen Computer 
eine übergreifende Spracherkennung beizubringen, evtl. auch über einige 
Jahre anzulernen (wie einen Kind) ?
Als Mensch kann man ja auch verschiedene Dialekte "dekodieren"- also als 
Hochdeutschsprechender kann mann ja im allgemeinen einen Schwaben, 
Sachsen usw. durchaus verstehen (wenn es sich nicht gerade um eine 
"Hardcore" Ausgabe der entspechenden Volksgruppe handelt).
Was funktioniert bei unseren Gehirn nun so speziell das es nicht auf 
Computerebene (Algorithmus) übertragbar ist, es kann ja nicht nur 
intuition (was ist das eigentlich genau bzw. wie funktioniert die ?) und 
Erfahrung sein.

mfg

    "Bender"
Gast #2375409
Lesenswert?

> Was funktioniert bei unseren Gehirn nun so speziell das es
> nicht auf Computerebene (Algorithmus) übertragbar ist,

Softwareentwicklung hinkt halt Jahrzehnte hinter der möglichen
Leistung der Hardware hinterher.

Entsprechend ist zwar im wesentlichen geklärt, wie das Gehirn
seine Arbeit macht und Leistung entfaltet, neuronale Netze,
beim Auge auch halbwegs die Struktur, beim Sprachverständnis
weiß man noch wenig über die diskriminierende Struktur, und
auch die Hardware ist inzwischen dramatisch leistungsfähiger
und zugänglich geworden (CUDA und ähnlich hochparallele CPUs)
aber noch niemand hat das umgesetzt.
Gast #2375469
Lesenswert?

Anna schrieb:
> Hallo Leute, ich habe vor, ein Programm zu erstellen, um Stimme in
> Gebärdensprache umzuwandeln, ein Projekt zur Hilfe von Gehörlosen
> Menschen. Ich habe schon einige Vorkenntnisse im Programmieren vom PIC
> im Programm C. Jedoch habe ich keine Ahnung wie ich das Programm die
> Stimme erkennen könnte, was für Bauteile ich dafür benutze, usw.  Könnte
> mir jemand bitte hier weiterhelfen?
> Vielen Dank!
> Anna

Hallo Leute, ich habe vor eine Marsrakete zu bauen, um eine Kolonie
auf dem Mars zu gründen. Ich habe schon Vorkenntnisse im Gebrauch eines
Schraubenziehers und kann auch gut löten. Jedoch habe ich keine Ahnung
was für Teile ich brauche und wie ich sie zusammenbauen muss. Könnte
mir jemand bitte hier weiterhelfen?
Vielen Dank!
Berta

P.S. Dürfte das gleiche Schwierigkeitsniveau sein...
Gast #2375498
Lesenswert?

> Eben nicht neuronale Netze. Neuronal Netze muessen mit der Gesammtheit
> der Muster gelehrt werden. Inkrementelles Lernen wie der Mensch das kann
> ist noch nicht moeglich.

Doch, schon. Lies halt was zu neuronalen Netzen und Lernen.

> kannst Du das auch so machen wie die Amerikaner

Es gibt viele Methoden die nicht funktionieren.
#2375500
Lesenswert?

Bender schrieb:
> Hallo,
>
> das das mit der Stimmerkennung nur in bestimmten Fachgebieten und nach
> einigen training der Spracherkennung auf eine bestimmte Person
> einigermaßen funktioniert ist ja bekannt.
> Aber was macht unser Gehirn denn so "besonderes" das es an einen
> Computer nicht nachvollzogen werden kann ?
> Warum ist es nicht möglich mit den bekannten techniken einen Computer
> eine übergreifende Spracherkennung beizubringen, evtl. auch über einige
> Jahre anzulernen (wie einen Kind) ?

Falls Interesse an so was besteht:
Stanford bietet z.Z. (ab morgen, da es mehr oder weniger die normalen 
Kurse sind) u.a. "Einführung in die Künstliche Intelligenz", "Maschinen 
Lernen" (www.ai-class.org, www.ml-class.org) und auf 
http://see.stanford.edu/see/courses.aspx bzw. 
http://see.stanford.edu/see/courseinfo.aspx?coll=63480b48-8819-4efd-8412-263f1a472f5a 
(Natural Language Processing) an...

Haudrauf ! schrieb:
> Eben nicht neuronale Netze. Neuronal Netze muessen mit der Gesammtheit
> der Muster gelehrt werden. Inkrementelles Lernen wie der Mensch das kann
> ist noch nicht moeglich.

Doch, z.B. http://www.cs.uvm.edu/~jbongard/
#2375635
Lesenswert?

Also ich denke, das wird nichtmal ein PC hinbekommen. Meine Frau 
"spricht" Gebärdensprache, und da gibts ziemlich oft eine Geste für 
verschiedene Worte oder gar ganze Sachverhalte. Abhängig vom Kontext. 
Dazu kommen noch die Dialekte. Und bei Namen wirds ganz schwierig, die 
werden ja in der Gruppe, in der die Person bekannt ist, mit einem 
spezifischem Merkmal (Brille, Haare, usw.) gebärdet, bei unbekannten 
Namen aber buchstabiert. Spracherkennung an sich ist ja schon ein Thema, 
mit dem man immer noch Doktorarbeiten mit völlig neuen Ansätzen 
schreiben kann, aber dann noch umsetzen in gebärden und das mit einem 
µC? Naja...Utopie.
#2375924
Lesenswert?

Karl Heinz Buchegger schrieb:
> Ein Vorarlberger Gehörloser verwendet andere
> Gesten als einer aus der Steiermark. Obwohl beides Österreicher sind.

darüber ob beide österreicher sind lässt sich streiten ;-)

wenn ich an meine letzte versuche mit spracherkennung denke (ist schon 
paar jahre her, auf einem pc) dann würde ich gar nicht darüber 
nachdenken, das ganze in einen pic zu packen damit es funktioniert. ich 
wäre schon mit einer halbwegs funktionierenden sprachsteuerung zufrieden 
(das autoradio meines vaters versteht selbst den einfachen befehl 
"abbrechen" nicht immer...)

Antwort schreiben

Bitte melde dich an, um einen Beitrag zu schreiben.

oder

Mit Google-Account einloggen

Die Registrierung ist kostenlos und dauert nur eine Minute.

Jetzt registrieren