|
| 阅读上一个主题 :: 阅读下一个主题 |
| 作者 |
 也来谈谈熵 |
 |
人之初
[个人文集]
加入时间: 2004/02/14
文章: 4326
经验值: 160
|
|
|
作者：人之初 在 罕见奇谈 发贴, 来自 http://www.hjclub.org
启明搬来的一篇不伦不类的半桶水文章激发了大家对熵的兴趣. 看来很多人都不明白熵是怎么一回事, 还有不少人在这里胡说一气误人子弟. 本人水平不怎么样, 但好歹当年也学过一点皮毛, 这里献丑给大家说上一二.
熵的定义本身很简单, 就是对于混乱程度的一种度量, 一个系统混乱程度越高熵越高.
但熵的这个定义本身是一个定性的东西, 不是定量的. 对于不同的系统不存在统一的混乱程度的定义(这句话本身就够混乱的), 所以也就不会有一个如牛顿定律一般的通用公式. 假如你把你的饭碗打破了, 任何一个物理学家都只能告诉你这是一个熵增过程, 无法告诉你你到底贡献了多少熵.
从理论上讲, 任何人都可以自己定义一套算法. 只要随着系统混乱程度的增加, 你自己定义的算法结果是单调增加, 那么你定义的算法就可以被称为熵. 从理论上讲, 你的熵和热力学上的熵有同等效力, 热力学上的熵不比你的熵更正确, 只是为更多人接受而已.
正是因为这个别原因, 香农可以自己提出一套信息熵的定义. 我们承认那是熵, 只是因为他的熵符合熵的定义, 不是因为他自己或者谁可以从相对论或者量子力学里推导出来他的公式.
另外说一句, 老马所说的热力学的熵和信息论的熵相互转化的理论我自己没有研究过, 也没有看过任何有关文章. 但我敢在这里下个结论, 那个理论里面所说的熵一定不是启明转来文章里面的公式
H = -LOG2(P)
为什么我敢这么肯定? 且不说这里没有一个调整大小的系数, 这里的定义是以2为底的对数, 以2为底的东西肯定是人为定义的. 要想把它和热力学的熵联系起来, 一定得换成以e为底的对数.
正是因为熵的这种随意性, 熵是热力学里最难理解的概念之一. 所以学热力学有句顺口溜叫: 伤心的熵, 含糊的焓.
啰哩啰唆说了这么多, 总结起来就是两句话: 熵是一种定性的东西, 没有绝对通用的熵的计算方法.
现在我们来看看为什么半桶水们的话是歪论
1 汉字的信息熵比英文字母信息熵高
我不能说汉字的信息熵比英文高还是低. 但因为熵是一种相对的东西, 所以只能在相同或类似的系统之间比较, 按英文的说法要compare apple to apple. 中文的字和英文的字母是两个不同层次的东西, 中文的字相当于英文的word两者根本没有可比性, 整个一关公战秦琼.
2 信息熵比特数决定了计算机编码长度
这个结论差点让俺笑掉大牙. 且不论两者面世的先后, 要是香农老先生当初多喝点酒, 决定在公式中以3为底, 不知道这位半桶水会有个什么想当然的结论?
3 负熵藏于结构
这是句典型的外行话. 当然不明白熵是怎么回事的人不太容易看出来.
熵是关于系统混乱程度的度量, 但不是事物本身具有的东西. 用我们熟悉的东西做例子: 温度是一种度量, 热量是物体本身具有的一种东西. 一杯水比另一杯水冷不是因为第一杯水里面有负的温度, 只能说第一杯水比第二杯水热量少. 如果用不太准确的说法, 可以说有负的热量, 但绝对不能说藏有负的温度. 熵和温度重量长度一样都不是可以藏在口袋里的东西, 负熵如同负长度(不是指数值)一样是不存在的. 负熵的说法是给小朋友做科普用的.
4 水汽因为失去热量（熵）凝成水，水又因为失去热量（熵）结成冰。
热量代表焓, 这里更加证明上面一点是多么外行.
5 所谓信息熵，就是信息缺乏结构和组织，使人难以预料。信息自身的结构有层次之分，低层次的，如字与字之间，高层次的，如文章的结构，大型网站的信息布局，和为了方便处理设计的检索机制。大型数据库的设计也反映了数据和信息结构的多层次，越往高越难。而所有这些努力，都是为了抽取信息熵。
其实我真应该把全文都引下来, 因为全文都是基于这样一个错误的概念, 以为熵是一种具体的东西, 大概还可以一斤两斤的卖.
到目前为止, 只有ltlee是真知道熵是怎么一回事
说什么负熵藏于结构。负熵就是结构。 -- ltlee - (0 字) 2005-1-18 9:09:50 (2 reads)
希望以后大家再谈到熵, 不要再象前面几位那样错得离谱.
作者：人之初 在 罕见奇谈 发贴, 来自 http://www.hjclub.org |
|
|
| 返回顶端 |
|
 |
| |
|
|
您不能在本论坛发表新主题
您不能在本论坛回复主题
您不能在本论坛编辑自己的文章
您不能在本论坛删除自己的文章
您不能在本论坛发表投票
您不能在这个论坛添加附件
您不能在这个论坛下载文件
|
based on phpbb, All rights reserved.
|
