|
| 阅读上一个主题 :: 阅读下一个主题 |
| 作者 |
 entropy (熵) & Shannon 熵 |
 |
Imbecile
[博客]
[个人文集]
游客
|
|
|
作者：Anonymous 在 罕见奇谈 发贴, 来自 http://www.hjclub.org
entropy (熵) from Merriam-Webster
http://www.m-w.com/cgi-bin/dictionary?book=Dictionary&va=entropy&x=0&y=0
1 : a measure of the unavailable energy in a closed thermodynamic system
that is also usually considered to be a measure of the system's disorder
and that is a property of the system's state and is related to it in such
a manner that a reversible change in heat in the system produces a change
in the measure which varies directly with the heat change and inversely
with the absolute temperature at which the change takes place;
1：一种对在封闭动态热系统中的未知(转换的)能量测定。同常，也被认为是对混乱
系统的测定。此种能量测定与此现象有关：一个系统中可逆向转换的热量产生一种
变换，此变换与热量的变化成正比而与变换中的绝对温度成反比。
broadly : the degree of disorder or uncertainty in a system
广义： 一个混乱或不确定系统的程度
2 a : the degradation of the matter and energy in the universe to an ultimate state of inert uniformity b : a process of degradation or running down or a trend to disorder
2a. 宇宙间的物体和能量蜕化到最后的惰性状态。b 一个蜕化消失或混乱过程。
3 : CHAOS, DISORGANIZATION, RANDOMNESS
3：与“大混乱”，“无组织”，“随机”同义。
ZT：
在我们日常生活中，似乎经常存在看「不确定性」的问题。比方说，天气预报员常
说「明天下雨的可能性是 70%。这是我们习以为常的「不确定性」问题的一个例子。
一般不确定性问题所包含「不确定」(uncertainty) 的程度可以用数学来定量地描
述吗？在多数的情况下是可以的。本世纪40年代末，由于信息理论 (information
theory) 的需要而首次出现的 Shannon 熵，50年代末以解决遍历理论 (ergodic theory)
经典问题而崭露头角的 Kolmogorov 熵，以及60年代中期，为研究拓朴动力系统
(topological dynamical system) 而产生的拓朴熵 (topological entropy) 等概
念，都是关于不确定性的数学度量。它们在现代动力系统和遍历理论中，扮演看十
分重要的角色。在自然科学和社会科学中的应用也日趋广泛。本文的主旨在于引导
尽量多的读者在这一引人入胜的领域中寻幽访胜，而不必在艰深的数学语言中踯躅
不前。物理、化学家们也许对他们早已熟悉的热力学熵更觉亲切。我们在最后一节
也将给古典的 Boltzmann 熵作一番数学的描述。
1. Shannon 熵(C. Shannon 1948年提出)
设想我们有两枚五分硬币，一枚硬币表面光滑，材料均匀，而另一枚硬币则表面粗
糙，奇形怪状。我们把硬币上有人头的那面叫正面，另一面称反面。然后在一个光
滑的桌面上旋转硬币，等它停下来后，看是正面或是反面。这是一个不确定性的问
题：可能是正面，可能是反面。第一枚硬币，由于正面和反面的对称性，正面或反
面朝上的机率各为一半。但对第二枚硬币来说，由于材料磨损，正面和反面不再对
称。可能正面朝上的机率为 70%，反面朝上的机率为 30%。对「究竟会是正面？或
会是反面？」这一不确定性问题来说，第一枚硬币「不确定」的程度显然比第二枚
硬币要大了许多。若要下赌注的话，我想还是下第二枚硬币的正面朝上，较为保险，
不是吗？现在假设铸币局的先生们别出心裁，把硬币设计成图1-1所示的形状，其上
为正，其下为反，则无论我们怎样旋转它，最终总是正面朝上。它「不确定」的度
量应该为零-其结果在未旋转前都已确定，那来什么「不」确定度呢？
有了这些直接的观察，我们可以在数学上做文章了。假设样本空间 (Sample space)
X 有 n 的基本事件 (events)，其基本事件 wi 的概率为 pi, i=1,2,…,n。我们记
之为 。当然，我们有基本关系式 , i=1,2,…,n。我们要定义一个函数 H 它的定义
域是所有的样本空间，它在样本空间 的值，我们用 来表示（X 省略掉）我们要
拿这个数来刻划具有概率分别为 p1,p2, …, pn 的事件 w1,w2,…,wn 的样本空间
的「不确定度」。 若要精确地反映试验结果的不确定度，似乎必须满足下列三个
基本条件：
(i) 对固定 n 来说，H 是 (p1,…,pn) 的连续函数：（这是数学上很基本的要
求）
代替硬币，让我们来掷骰子。这骰子是个材料均匀各面光滑的正六边体。当我
们将它掷到桌面上时，每个面朝上的机率都是 。究竟是那面朝上的不确定度，显然
比旋转光滑对称硬币那面朝上的不确定度要大许多。这个事实若用 H 来表达，应当
是 一般来说，H 应当满足。
(ii) 若 ，i=1,2,…,n，则对应的 应当是 n 的单调递增函数。
(不能COPY 公式分数，请看：) http://episte.math.ntu.edu.tw/articles/mm/mm_13_3_01/index.html#
01_SECTION0001
作者：Anonymous 在 罕见奇谈 发贴, 来自 http://www.hjclub.org |
|
|
| 返回顶端 |
|
 |
| |
|
|
您不能在本论坛发表新主题
您不能在本论坛回复主题
您不能在本论坛编辑自己的文章
您不能在本论坛删除自己的文章
您不能在本论坛发表投票
您不能在这个论坛添加附件
您不能在这个论坛下载文件
|
based on phpbb, All rights reserved.
|
