自 2010 年 · 每月支援超過 200 萬次工具執行
自 2010 年
加到 Chrome

我的工具箱

自動模式

尚未收藏任何工具。

升級為高級版
相關工具
機率分布計算機骰子機率計算機Django密鑰生成器密碼強度測試器隨機英文名言生成器
主頁 > 數學 > 進階數學計算
 

熵計算機

計算機率分布的香農熵，提供逐步計算公式、互動式視覺化、熵分類以及資訊論分析的教育見解。

免費使用無需註冊2026年1月更新
熵計算機立即免費試用 ▼

熵分析

衡量機率分布中的資訊含量和不確定性

快捷示例
輸入 0 到 1 之間且和為 1 的值。用逗號、空格或換行符分隔。

Embed 熵計算機 Widget

熵計算機

歡迎使用香農熵計算機，這是一個全面的工具，用於計算機率分布的熵，提供逐步分析和互動式視覺化。無論您是在學習資訊論、分析數據隨機性、優化通信系統，還是探索機器學習概念，此計算機都能提供精確的熵計算及教育見解。

什麼是香農熵？

香農熵（Shannon entropy）以數學家克勞德·香農（Claude Shannon）命名，是資訊論中的一個基本概念，用於衡量隨機變數的平均不確定性或資訊含量。它量化了對機率分布結果進行編碼所需的預期位元數（或其他單位）。

熵回答了這樣一個問題：「平均而言，我對結果會感到多麼驚訝？」高熵意味著高不確定性（您經常感到驚訝）；低熵意味著高可預測性（結果符合預期）。

香農熵公式

香農熵
$$H(X) = -sum_{i=1}^{n} p_i \log(p_i)$$

其中：

關鍵概念

Bits、Nats 和 Dits

單位取決於對數底數：底數為 2 得到 bits（資訊論標準），底數為 e 得到 nats（自然單位），底數為 10 得到 dits/hartleys。

最大熵

發生在所有結果機率相等的均勻分布中。對於 n 個結果，Hmax = log(n)。這代表了最大不確定性狀態。

困惑度 (Perplexity)

等於 2H（以 bits 為單位），代表有效等機率選擇的數量。廣泛應用於語言建模。

冗餘度 (Redundancy)

最大可能熵與實際熵之間的差值：R = Hmax - H。衡量分布偏離均勻分布的程度。

如何使用此計算機

  1. 輸入機率： 輸入以逗號、空格或換行符分隔的機率值。所有值必須在 0 到 1 之間，且總和必須等於 1。
  2. 選擇對數底數： 選擇底數 2（位元，標準）、底數 e（奈特）或底數 10（迪特）。
  3. 設置精度： 選擇結果的小數位數（2-15 位）。
  4. 計算： 點擊按鈕查看熵值、分類、效率指標和逐步分解。
  5. 分析視覺化： 查看機率分布和熵貢獻圖表。

了解您的結果

主要結果

額外指標

香農熵的應用

資訊論與通信

香農熵確立了數據壓縮的根本極限。在不損失資訊的情況下，數據壓縮不能低於其熵。它還決定了可靠通信的信道容量。

機器學習與人工智慧

熵用於決策樹算法（選擇最佳分裂點）、交叉熵損失函數（用於分類）以及衡量模型不確定性。較低的困惑度表示語言模型性能更好。

密碼學與安全

密碼強度通過熵來衡量——熵越高，越難猜。隨機數生成器通過其熵輸出來評估。高熵表示良好的隨機性。

物理學與熱力學

香農熵通過統計力學與熱力學熵相聯繫。兩者都衡量系統中的無序或不確定性，具有深刻的理論聯繫。

數據科學與分析

熵量化數據集的多樣性，檢測異常並衡量資訊含量。它用於特徵選擇和數據質量評估。

熵的性質

約定：0 × log(0) = 0

雖然 log(0) 是未定義的（趨於負無窮大），但 p × log(p) 當 p → 0 時的極限為 0。這一約定在直覺上是合理的：不可能發生的結果不會給系統帶來任何資訊或不確定性。

單位換算

常見問題解答

什麼是香農熵？

香農熵（Shannon entropy）以克勞德·香農命名，是衡量隨機變數平均不確定性或資訊含量的指標。它量化了對機率分布結果進行編碼所需的預期位元數。對於具有機率 p₁, p₂, ..., pₙ 的離散隨機變數 X，熵 H(X) = -Σ pᵢ log(pᵢ)。熵越高意味著不確定性越大；熵越低意味著可預測性越強。

bits、nats 和 dits 有什麼區別？

熵的單位取決於所使用的對數底數：以 2 為底得到 bits（二進位單位），是資訊論和電腦科學中的標準單位。以 e 為底（自然對數）得到 nats（自然單位），常用於物理學和機器學習。以 10 為底得到 dits 或 hartleys，有時用於電信領域。換算關係：1 nat ≈ 1.443 bits，1 dit ≈ 3.322 bits。

什麼是最大熵？

最大熵發生在所有結果出現機率相等（均勻分布）時。對於 n 個結果，最大熵為 log(n)。這代表了最大不確定性的狀態，即您没有任何資訊來預測哪個結果會發生。實際分布通常具有較低的熵，因為某些結果比其他結果更可能發生。

資訊論中的困惑度 (perplexity) 是什麼？

困惑度是 2^H（對於以 2 為底的熵），代表有效等機率結果的數量。它衡量了平均而言您會感到多麼「驚訝」。困惑度為 4 意味著不確定性相當於從 4 個選項中均勻選擇。在語言建模中，較低的困惑度表示更好的預測性能。

為什麼機率之和必須等於 1？

機率之和必須等於 1，因為它們代表了所有可能結果的集合。這是機率論的一個基本公理：某事發生的機率必須是 100%。如果機率之和不為 1，則該分布無效。

在熵計算中 0 × log(0) 等於多少？

按照慣例，在熵計算中 0 × log(0) = 0。雖然數學上 log(0) 是未定義的（趨於負無窮大），但當 p 趨於 0 時，p × log(p) 的極限為 0。這在直覺上是合理的：一個從未發生的結果 (p=0) 不會給系統貢獻任何資訊或不确定性。

其他資源

引用此內容、頁面或工具為：

"熵計算機" 於 https://MiniWebtool.com/zh-tw/熵計算機/，來自 MiniWebtool，https://MiniWebtool.com/

由 miniwebtool 團隊開發。更新日期：2026年1月18日

開發者 API 可用: 用一次 JSON HTTP 請求，把這個工具接入你的應用程式、自動化流程或代理。 查看 API 文件

您還可以嘗試我們的 AI數學解題器 GPT，通過自然語言問答解決您的數學問題。

進階數學計算:

熱門與最新工具:

指數衰減計算機（高精度）負二項分布計算機百分比增長率計算機查看全部 →
主頁 > 數學 > 進階數學計算 > 熵計算機