Come si usa
Scegli Conteggi per frequenze come 10, 20 e 30. Scegli Probabilità se ogni voce è già una probabilità e il totale è 1. Inserisci da due a cento valori non negativi separati da spazi, virgole o punti e virgola e calcola. Non servono nomi: le posizioni 1, 2 e 3 corrispondono al primo, secondo e terzo dato.
L’esempio sbiadito 10, 20, 30 può essere calcolato subito. Il primo accesso al campo dei valori cancella l’esempio una sola volta, conservando la modalità. Modificare valori o modalità cancella il risultato confermato e disabilita la copia fino al nuovo calcolo. Cancella svuota l’elenco numerico conservando la modalità.
Calcolo e campi del risultato
Per i conteggi, ogni probabilità è il conteggio diviso per il totale. Nella modalità probabilità, la somma deve distare da uno al massimo 0.000000001; altrimenti viene richiesta una correzione. L’entropia in bit è H = −Σ pᵢ log₂(pᵢ). Una categoria con probabilità zero contribuisce zero per definizione: il limite 0 log 0 viene trattato come 0.
L’elenco collega ogni posizione alla probabilità normalizzata e al termine −p log₂p. La somma dà l’entropia principale. Il massimo per k categorie elencate è log₂(k), raggiunto da una distribuzione uniforme. L’entropia normalizzata è H/log₂(k), utile come confronto 0–1 tra elenchi con numeri diversi di categorie.
Esempi svolti
I conteggi 10, 20 e 30 diventano probabilità 1/6, 1/3 e 1/2. I contributi sono circa 0.43, 0.53 e 0.5 bit, per un totale di circa 1.46 bit. Il massimo a tre categorie è log₂(3), circa 1.58 bit; l’entropia normalizzata è quindi circa 0.92.
Quattro conteggi uguali 1, 1, 1, 1 danno 2 bit, esattamente log₂(4), ed entropia normalizzata 1. Le probabilità 0.5, 0.25 e 0.25 danno 1.5 bit. L’elenco 1, 1, 0 dà 1 bit: lo zero rimane visibile e contribuisce zero.
Interpretare correttamente l’entropia
Un’entropia maggiore indica una distribuzione più uniforme o meno prevedibile nell’estrazione di una categoria secondo questo modello. Un’entropia inferiore indica massa concentrata in meno categorie. Non stabilisce quale categoria sia desiderabile, se le differenze siano statisticamente significative o perché sia emerso un andamento.
Confronta valori solo se definizioni delle categorie e raccolta dei dati sono compatibili. Aggiungere categorie inutilizzate con valore zero aumenta il massimo teorico, ma non H, modificando l’entropia normalizzata. Definisci le categorie prima di confrontare l’uniformità.
Limiti e qualità dei dati
I valori devono essere decimali ordinari non negativi; negativi, NaN, infinito e conteggi tutti nulli sono rifiutati. I conteggi possono essere pesi frazionari, anche se conteggi interi di eventi sono più facili da spiegare. Valori molto grandi sono limitati per evitare instabilità. La visualizzazione è arrotondata, mentre la somma mantiene tutta la precisione numerica JavaScript.
È un calcolatore di distribuzioni, non uno stimatore statistico. Non fornisce correzioni di distorsione, intervalli campionari, test d’ipotesi o misure d’incertezza. Piccoli campioni osservati possono sottostimare l’entropia. Categorie mancanti o unite possono cambiare molto il risultato.
Domande comuni
Posso scegliere la base del logaritmo? No, viene usata la base 2 e l’unità è il bit. Un bit equivale a un carattere binario di password? No. Questa entropia non garantisce robustezza delle password, casualità crittografica o imprevedibilità di una sorgente testuale.
Perché le probabilità devono sommare a uno? Rappresentano già una distribuzione completa. Usa Conteggi per normalizzare pesi arbitrari non negativi. Copia risultato include totale, massimo, entropia normalizzata e contributi di ogni posizione, senza salvare o trasmettere i dati.