自 2010 年 · 每月支持超过 200 万次工具运行
自 2010 年
添加到 Chrome

我的工具箱

自动模式

还没有收藏的工具。

升级为高级版
相关工具
概率分布计算器骰子概率计算器Django密钥生成器密码强度测试器随机英文名言生成器
主页 > 数学 > 进阶数学计算
 

熵计算器

计算概率分布的香农熵，提供逐步计算公式、交互式可视化、熵分类以及信息论分析的教育见解。

免费使用无需注册2026年1月更新
熵计算器立即免费试用 ▼

熵分析

衡量概率分布中的信息含量和不确定性

快捷示例
输入 0 到 1 之间且和为 1 的值。用逗号、空格或换行符分隔。

Embed 熵计算器 Widget

熵计算器

欢迎使用香农熵计算器，这是一个全面的工具，用于计算概率分布的熵，提供逐步分析和交互式可视化。无论您是在学习信息论、分析数据随机性、优化通信系统，还是探索机器学习概念，此计算器都能提供精确的熵计算及教育见解。

什么是香农熵？

香农熵（Shannon entropy）以数学家克劳德·香农（Claude Shannon）命名，是信息论中的一个基本概念，用于衡量随机变量的平均不确定性或信息含量。它量化了对概率分布结果进行编码所需的预期比特数（或其他单位）。

熵回答了这样一个问题：“平均而言，我对结果会感到多么惊讶？”高熵意味着高不确定性（您经常感到惊讶）；低熵意味着高可预测性（结果符合预期）。

香农熵公式

香农熵
$$H(X) = -\sum_{i=1}^{n} p_i \log(p_i)$$

其中：

关键概念

Bits、Nats 和 Dits

单位取决于对数底数：底数为 2 得到 bits（信息论标准），底数为 e 得到 nats（自然单位），底数为 10 得到 dits/hartleys。

最大熵

发生在所有结果概率相等的均匀分布中。对于 n 个结果，Hmax = log(n)。这代表了最大不确定性状态。

困惑度 (Perplexity)

等于 2H（以 bits 为单位），代表有效等概率选择的数量。广泛应用于语言建模。

冗余度 (Redundancy)

最大可能熵与实际熵之间的差值：R = Hmax - H。衡量分布偏离均匀分布的程度。

如何使用此计算器

  1. 输入概率： 输入以逗号、空格或换行符分隔的概率值。所有值必须在 0 到 1 之间，且总和必须等于 1。
  2. 选择对数底数： 选择底数 2（比特，标准）、底数 e（奈特）或底数 10（迪特）。
  3. 设置精度： 选择结果的小数位数（2-15 位）。
  4. 计算： 点击按钮查看熵值、分类、效率指标和逐步分解。
  5. 分析可视化： 查看概率分布和熵贡献图表。

了解您的结果

主要结果

额外指标

香农熵的应用

信息论与通信

香农熵确立了数据压缩的根本极限。在不损失信息的情况下，数据压缩不能低于其熵。它还决定了可靠通信的信道容量。

机器学习与人工智能

熵用于决策树算法（选择最佳分裂点）、交叉熵损失函数（用于分类）以及衡量模型不确定性。较低的困惑度表示语言模型性能更好。

密码学与安全

密码强度通过熵来衡量——熵越高，越难猜。随机数生成器通过其熵输出来评估。高熵表示良好的随机性。

物理学与热力学

香农熵通过统计力学与热力学熵相联系。两者都衡量系统中的无序或不确定性，具有深刻的理论联系。

数据科学与分析

熵量化数据集的多样性，检测异常并衡量信息含量。它用于特征选择和数据质量评估。

熵的性质

约定：0 × log(0) = 0

虽然 log(0) 是未定义的（趋于负无穷大），但 p × log(p) 当 p → 0 时的极限为 0。这一约定在直觉上是合理的：不可能发生的结果不会给系统带来任何信息或不确定性。

单位换算

常见问题解答

什么是香农熵？

香农熵（Shannon entropy）以克劳德·香农命名，是衡量随机变量平均不确定性或信息量的指标。它量化了对概率分布结果进行编码所需的预期比特数。对于具有概率 p₁, p₂, ..., pₙ 的离散随机变量 X，熵 H(X) = -Σ pᵢ log(pᵢ)。熵越高意味着不确定性越大；熵越低意味着可预测性越强。

bits、nats 和 dits 有什么区别？

熵的单位取决于所使用的对数底数：以 2 为底得到 bits（二进制单位），是信息论和计算机科学中的标准单位。以 e 为底（自然对数）得到 nats（自然单位），常用于物理学和机器学习。以 10 为底得到 dits 或 hartleys，有时用于电信领域。换算关系：1 nat ≈ 1.443 bits，1 dit ≈ 3.322 bits。

什么是最大熵？

最大熵发生在所有结果出现概率相等（均匀分布）时。对于 n 个结果，最大熵为 log(n)。这代表了最大不确定性的状态，即您没有任何信息来预测哪个结果会发生。实际分布通常具有较低的熵，因为某些结果比其他结果更可能发生。

信息论中的困惑度 (perplexity) 是什么？

困惑度是 2^H（对于以 2 为底的熵），代表有效等概率结果的数量。它衡量了平均而言您会感到多么“惊讶”。困惑度为 4 意味着不确定性相当于从 4 个选项中均匀选择。在语言建模中，较低的困惑度表示更好的预测性能。

为什么概率之和必须等于 1？

概率之和必须等于 1，因为它们代表了所有可能结果的集合。这是概率论的一个基本公理：某事发生的概率必须是 100%。如果概率之和不为 1，则该分布无效。

在熵计算中 0 × log(0) 等于多少？

按照惯例，在熵计算中 0 × log(0) = 0。虽然数学上 log(0) 是未定义的（趋于负无穷大），但当 p 趋于 0 时，p × log(p) 的极限为 0。这在直觉上是合理的：一个从未发生的结果 (p=0) 不会给系统贡献任何信息或不确定性。

其他资源

引用此内容、页面或工具为：

"熵计算器" 于 https://MiniWebtool.com/zh-cn/熵计算器/，来自 MiniWebtool，https://MiniWebtool.com/

由 miniwebtool 团队开发。更新日期：2026年1月18日

开发者 API 可用: 用一次 JSON HTTP 请求，把这个工具接入你的应用、自动化流程或智能体。 查看 API 文档

您还可以尝试我们的 AI数学解题器 GPT，通过自然语言问答解决您的数学问题。

进阶数学计算:

热门与最新工具:

指数衰减计算器（高精度）负二项分布计算器百分比增长率计算器查看全部 →
主页 > 数学 > 进阶数学计算 > 熵计算器