Frage zu Transinformation und Entropie

[Wilibald (Gast)]

Hallo zusammen,
befasse mich gerade etwas mit Informationstheorie. Ich muss vorweg 
sagen, dass ich nicht sicher bin, ob ich hier im richtigen Forum 
gelandet bin, aber wüsste nicht, wo ich sonst fragen sollte, daher 
versuche ich es mal hier.

Also, meine Frage dreht sich um die Begriffe der Transinformation, 
Kanalkapazität und der Entropie. Auf Wikipedia

http://de.wikipedia.org/wiki/Transinformation

gibts ja den leider kaum verständlichen Artikel zu dem Thema. Das Thema 
ist leider recht abstrakt, aber mit dem Bild finde ich es einigermassen 
anschaulich. Könnt ihr mir verraten, ob meine Vorstellung so korrekt 
ist:

1. über einen Kanal werden Informationen übertragen, z.B. ein Funkkanal, 
wo man mit WLAN Daten versendet.
2. der Kanal beinhaltet Rauschen, welches zu Fehlern führt. Diese Fehler 
bedeuten im Prinzip einen "Verlust" an Informationen, das wäre die 
bedingte Entropie H(X|Y). Anschaulich: wenn der Empfänger das Symbol y 
empfängt, kann er mit einer bestimmten Sicherheit sagen, ob die Quelle x 
gesendet hat. Richtig?
3. durch die Fehler entstehen eine Art "neue", "zusätzliche" 
Informationen, das wäre die bedingte Entropie H(Y|X). Auch hier: wenn 
der Sender x sendet, kann er nicht mit Sicherheit wissen, ob der 
Empfänger auch wirklich y empfängt oder was anderes.
4. die Transinformation ist diejenige Menge an Informationen, die ich 
fehlerfrei durch den Kanal bringe. Richtig? Anhand des Bildes könnte man 
dies jedenfalls vermuten.
5. Dementsprechend gibt die Kanalkapazität an, wie viele Informationen 
ich bei optimaler Codierung und Fehlerkorrektur maximal durch den Kanal 
übertragen kann. Versuche ich mehr Informationen zu übertragen, geht 
immer was verloren.

Stimmen meine anschaulichen Überlegungen so ungefähr? bin ja kein 
Mathematiker, das muss nicht 100% exakt sein, aber ein bisschen 
anschaulich will ich es verstehen. Insbesondere bei 5. bin ich nicht 
ganz sicher.


Bin mal sehr gespannt auf die Antworten.

Viele Grüsse!

[Arc N. (arc)]

Wilibald schrieb:
> Hallo zusammen,
> befasse mich gerade etwas mit Informationstheorie. Ich muss vorweg
> sagen, dass ich nicht sicher bin, ob ich hier im richtigen Forum
> gelandet bin, aber wüsste nicht, wo ich sonst fragen sollte, daher
> versuche ich es mal hier.
>
> Also, meine Frage dreht sich um die Begriffe der Transinformation,
> Kanalkapazität und der Entropie. Auf Wikipedia
>
> http://de.wikipedia.org/wiki/Transinformation
>
> gibts ja den leider kaum verständlichen Artikel zu dem Thema.

Der auf der englischen Seite ist, wie häufig bei diesen Themen, imo 
deutlich besser: http://en.wikipedia.org/wiki/Transinformation

Schönes Zitat aus "Constructor Theory of Information", Deutsch, 
Marletto, 2014
"We present a theory of information expressed solely in terms of which
transformations of physical systems are possible and which are 
impossible – i.e. in constructor-theoretic terms...
It does not suffer from the circularity at the foundations of existing 
information theory (namely that information and distinguishability are 
each defined in terms of the other)."

http://arxiv.org/abs/1405.5563

[Wilibald (Gast)]

Danke, werde mir den englischen Wikipedia-Eintrag ansehen. So auf den 
ersten Blick sieht er in der Tat etwas verständlicher aus als der 
Deutsche.

Das mit der Constructor Theory habe ich allerdings ganz und gar nicht 
verstanden :-) muss ich morgen nochmal genauer lesen wenn ich 
ausgeschlafen bin ;-)

Aber sind meine anschaulichen Vorstellungen von der bedingten Entropie 
und der Transinformation jetzt richtig? anhand des Diagramms vom 
Wikipedia und dem was ich über das  Thema schon weiss, würde ich sagen 
schon, aber gänzlich sicher bin ich nicht.


Gruss