Shannon-Entropy < Wahrscheinlichkeitstheorie < Stochastik < Hochschule < Mathe < Vorhilfe
|
| Status: |
(Frage) beantwortet  | | Datum: | 23:31 Mo 17.10.2016 | | Autor: | Jellal |
Hallo zusammen,
kurze Frage:
Ist die Shannon Entropie,
definiert durch [mm] H=-\summe_{i=1}^{k}p_{i}*log_{2}(p_{i}) [/mm] mit [mm] \summe_{i=1}^{k}p_{i}=1 [/mm] und [mm] 0\le p_{i} \le [/mm] 1, betraglich stets [mm] \le [/mm] 1?
Gruß
|
|
| |
|
| Status: |
(Antwort) fertig  | | Datum: | 23:59 Mo 17.10.2016 | | Autor: | tobit09 |
Hallo Jellal,
Ich habe keine Ahnung von der Shannon Entropie und antworte nur aufgrund deiner Beschreibung der Definition.
> Ist die Shannon Entropie,
>
> definiert durch [mm]H=-\summe_{i=1}^{k}p_{i}*log_{2}(p_{i})[/mm] mit
> [mm]\summe_{i=1}^{k}p_{i}=1[/mm] und [mm]0\le p_{i} \le[/mm] 1, betraglich
> stets [mm]\le[/mm] 1?
Nein, wenn die [mm] $p_i$ [/mm] beliebige reelle Zahlen mit [mm] $0\le p_i\le [/mm] 1$ und [mm] $\sum_{i=1}^kp_i=1$ [/mm] sind, muss nicht [mm] $H\le [/mm] 1$ gelten.
Beispiel: Betrachte $k=3$ und [mm] $p_i=\frac{1}{3}$ [/mm] für $i=1,2,3$.
Vielmehr ist H stets [mm] $\ge [/mm] 0$ und kann beliebig hohe Werte annehmen.
Viele Grüße
Tobias
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig  | | Datum: | 00:24 Di 18.10.2016 | | Autor: | Jellal |
Alles klar,
vielen Dank Tobit :)
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig | | Datum: | 07:39 Di 18.10.2016 | | Autor: | tobit09 |
> Vielmehr ist H stets größer 0 und kann beliebig hohe
> Werte annehmen.
Sorry, da ist mir ein Fehler unterlaufen: H kann auch 0 sein.
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 14:02 Di 18.10.2016 | | Autor: | fred97 |
Ich habe eine ganz nette Abschätzung für $H$ gefunden.
Zunächst eine Vorbemerkung: in der Informationstheorie setzt man
$0 * [mm] log_2 [/mm] (0) = 0$,
wegen [mm] $\lim_{x \rightarrow 0} [/mm] x* [mm] \log_2 [/mm] (x)=0$.
Daher gehe ich im Folgenden stets von [mm] p_i>0 [/mm] aus. Für x>0 sei
$f(x):=-x* [mm] \log_2 [/mm] (x)$.
Eine kleine Kurvendiskussion zeigt: $f$ hat in [mm] $x=e^{-1}$ [/mm] ein absolutes Maximum. Daher ist
$ f(x) [mm] \le f(e^{-1})=\bruch{1}{e* \ln(2)}$.
[/mm]
Somit ist
$0 [mm] \le [/mm] H [mm] \le k*\bruch{1}{e* \ln(2)} \approx0,531*k$
[/mm]
Die Bedingung $ [mm] \summe_{i=1}^{k}p_{i}=1 [/mm] $ spielte bislang keine Rolle.
Als Übung empfehle ich: mit der Multiplikatorenregel von Lagrange ergibt sich:
$H$ nimmt sein Max. unter der Nebenbedingung $ [mm] \summe_{i=1}^{k}p_{i}=1 [/mm] $ an
[mm] \gdw
[/mm]
[mm] $p_1=p_2=....=p_k= \bruch{1}{k}$.
[/mm]
In diesem Fall ist $H= [mm] \bruch{\ln(k)}{\ln(2)}$
[/mm]
Damit haben wir:
$H [mm] \le [/mm] 1$ unter obiger Nebenbedingung [mm] \gdw [/mm] $k [mm] \le [/mm] 2.$
|
|
|
|
