本文へ移動

シャノンエントロピー計算

カテゴリの個数または確率からビット単位のエントロピーと寄与を求めます。

分布

ブラウザー内で処理します。

空白・カンマ・セミコロンで区切った2~100個の非負値。

結果

分布を入力して計算してください。

使い方

頻度なら個数、すでに合計1なら確率を選び、2~100値を入力します。結果の位置は入力順です。薄い10,20,30例はそのまま実行でき、最初のフォーカスで一度だけ消去されモードは保持します。

計算

個数は合計で割って確率化します。H=−Σp log₂pで、0 log 0は0です。各pと寄与を表示します。最大値はlog₂(k)、正規化値はH/log₂(k)です。

例

10,20,30は1/6,1/3,1/2となりH≈1.46ビット、3カテゴリの最大は約1.58です。4つの同数は2ビット、0.5/0.25/0.25は1.5ビットです。

読み方

高い値はこのモデルでより均等な分布を意味しますが、望ましさや有意差を示しません。同じカテゴリ定義と収集法だけを比較します。ゼロカテゴリ追加は最大値と正規化値を変えます。

限界

負数、無限、全ゼロは不可です。確率は合計1が必要で、任意重みは個数モードで正規化します。バイアス補正、区間、検定はありません。小標本や欠落カテゴリに注意します。

質問

底は2で単位はビットです。パスワード強度、暗号学的安全性、文章の乱数性を保証しません。コピーは表示結果だけで入力を保存・送信しません。