Entropie und Informationsgehalt berechnen

[Mathiasl (Gast)]

Mir ist klar was beide Begriffe bedeuten und ich weiss auch wie man den 
informationsgehalt berechnet, jedoch erkenne ich bei der Berechnung 
keinen Unterschied zur Entropie. ... Oder ist die Entropie einfach nur 
der Kehrwert des informationsgehaltes ?

[Max H. (hartl192)]

Der Informationsgehalt ist die Entropie.

http://de.wikipedia.org/wiki/Entropie_(Informationstheorie)
> Entropie (nach dem Kunstwort εντροπία) ist ein Maß für den
> mittleren Informationsgehalt oder auch Informationsdichte
> einer Nachricht.

[Michael W. (Gast)]

Max H. :

Nein nicht ganz, denn die Entropie ist der Erwartungswert des 
Informationsgehalts (du hast es oben selbst so geschrieben). Mathiasl 
wollte ja genau den Unterschied wissen, der sich hinter den beiden 
Begriffen verbirgt. Und wenn du nun flapsig sagst, es sei ohnehin das 
gleiche, wirst du ihn mehr verwirren als helfen.

Der Informationsgehalt eines Ereignisses mit Wahrscheinlichkeit p ist

$$I(p) = -\log_2 p$$

Der Erwartungswert davon, über alle Wahrscheinlichkeiten verschiedener 
Ereignisse gemittelt, ist H, die Entropie:

$$H = -\langle I \rangle = -\sum_i p_i \log_2 p_i$$