Kanalcodierungstheorem von Shannon

[Michael W. (Gast)]

In einer Arbeit wird beschrieben, wie man sich für den binären 
symmetrischen Kanal das zitierte Theorem plausibilisieren kann. Zunächst 
wird von einem Sender ausgegangen, der k mögliche Info-Bits in ein n-Bit 
Code-Wort, mit n>k kodiert. Diese Codeworte werden mit Coderate R=k/n 
über einen verrauschten Kanal übertragen, der eine symmetrische 
Bitfehlerwahrscheinlichkeit

$$p = p(0|1) = p (1|0)$$

aufweist.

Ein solches Codewort c wird am Ausgang des Kanals zu einen c', welches 
aufgrund von Bit-Umfallern mit hoher Wahrscheinlichkeit in einem 
Hamming-Abstand

$$d = p \cdot n$$

um c liegt, aber kein Codewort ist. Innerhalb dieser Kugel um c liegen 
dann (laut Text) ungefähr

$$2^{H(p)\cdot n}$$

deratige Wörter, wobei

$$H(p) = -p \log_2(p)- (1-p) \log_2(1-p)$$

ist.


Ich kann nun nicht folgen, wie man auf diese letzte Behauptung kommt.

Meines Erachtens liegen in einer Hamming Distanz

$$d = p \cdot n$$

um c genau

$$\sum_{i=1, i \le d} \binom{n}{i}$$

mögliche Wörter, da es

$$\binom{n}{i}$$

Möglichkeiten gibt, in einem n-Bit Wort i Bits umzudrehen.
Damit komme ich nie auf die angegebene Formel (beim Einsetzen mit 
konkreten Zahlen bekomme ich mit meiner Methode auch viel mehr heraus 
als mit der obigen Formel)...

Weiß hier jemand, wo ich hänge?

$$1-H(p) = 1+p \log_2(p)+ (1-p) \log_2(1-p)$$

ist übrigens die Kanalkapazität (ist für das Verständnis aber im Text 
noch nicht relevant)

Danke und LG,
Michael

[Michael W. (Gast)]

Hat sich geklärt:

$$2^{nH(p)}$$

beschreibt eine obere Grenze für das Volumen, und nicht den konkreten 
Wert. Da war das Paper etwas schlampig...

Nachzulesen unter:

http://www.cs.cmu.edu/~venkatg/teaching/codingtheory/notes/notes2.pdf
Lemma 5