Entropie und Informationsgehalt berechnen

Mathiasl Gast 20.03.2015 22:47 #4060652

Lesenswert?

•

Mir ist klar was beide Begriffe bedeuten und ich weiss auch wie man den 
informationsgehalt berechnet, jedoch erkenne ich bei der Berechnung 
keinen Unterschied zur Entropie. ... Oder ist die Entropie einfach nur 
der Kehrwert des informationsgehaltes ?

Antwort Zitieren Bearbeiten Thread verschieben Thread sperren Anmeldepflicht aktivieren Anpinnen Thread löschen Thread mit anderem zusammenführen Beitrag melden

Max H. (hartl192) 20.03.2015 22:50 #4060658

Lesenswert?

•

▲
▼

Der Informationsgehalt ist die Entropie.

http://de.wikipedia.org/wiki/Entropie_(Informationstheorie)
> Entropie (nach dem Kunstwort εντροπία) ist ein Maß für den
> mittleren Informationsgehalt oder auch Informationsdichte
> einer Nachricht.

Antwort Zitieren Bearbeiten Löschen Beitrag melden

Michael W. Gast 22.03.2015 07:35 #4061834

Lesenswert?

•

▲
▼

Max H. :

Nein nicht ganz, denn die Entropie ist der Erwartungswert des 
Informationsgehalts (du hast es oben selbst so geschrieben). Mathiasl 
wollte ja genau den Unterschied wissen, der sich hinter den beiden 
Begriffen verbirgt. Und wenn du nun flapsig sagst, es sei ohnehin das 
gleiche, wirst du ihn mehr verwirren als helfen.

Der Informationsgehalt eines Ereignisses mit Wahrscheinlichkeit p ist

$I(p) = -\log_2 p$


Der Erwartungswert davon, über alle Wahrscheinlichkeiten verschiedener 
Ereignisse gemittelt, ist H, die Entropie:

$H = -\langle I \rangle = -\sum_i p_i \log_2 p_i$

Antwort Zitieren Bearbeiten Löschen Beitrag melden

Thread beobachten

Antwort schreiben

Bitte melde dich an, um einen Beitrag zu schreiben.

Bestehender Account

oder

Mit Google-Account einloggen

Noch kein Account?

Die Registrierung ist kostenlos und dauert nur eine Minute.

Jetzt registrieren