Zum Inhalt springen

Shannon-Entropie-Rechner

Häufigkeiten oder Wahrscheinlichkeiten in Bits und Einzelbeiträge umrechnen.

Verteilung

Verarbeitung im Browser.

2–100 nichtnegative Werte mit Leerzeichen, Kommas oder Semikolons trennen.

Ergebnis

Verteilung eingeben und berechnen.

Anleitung

Häufigkeiten für Zählwerte wählen, Wahrscheinlichkeiten für eine bereits auf eins summierte Liste. 2–100 Werte eingeben. Ergebnispositionen folgen der Reihenfolge. Das blasse Beispiel 10,20,30 ist direkt berechenbar; erster Fokus leert es einmal und behält den Modus.

Berechnung

Zählwerte werden durch ihre Summe normiert. H=−Σp log₂p und 0 log 0 gilt als 0. Jeder Beitrag wird gezeigt. Das Maximum ist log₂(k), normierte Entropie ist H/log₂(k).

Beispiele

10,20,30 ergeben 1/6,1/3,1/2 und H≈1,46 Bit; Maximum bei drei Kategorien etwa 1,58. Vier gleiche Werte ergeben 2 Bit. 0,5/0,25/0,25 ergeben 1,5 Bit.

Interpretation

Höhere Entropie bedeutet eine gleichmäßigere Verteilung im Modell, nicht eine bessere Kategorie oder Signifikanz. Nur kompatible Kategorien vergleichen. Zusätzliche Nullkategorien ändern Maximum und Normierung.

Grenzen

Negative, unendliche und nur null Werte werden abgelehnt. Wahrscheinlichkeiten müssen eins ergeben; beliebige Gewichte als Häufigkeiten eingeben. Keine Bias-Korrektur, Intervalle oder Tests. Kleine Stichproben können verzerren.

Fragen

Basis 2 liefert Bits. Dies garantiert keine Passwortstärke, Kryptosicherheit oder Textzufälligkeit. Kopieren exportiert nur sichtbaren Text und überträgt keine Eingaben.