海纳百川
登录 | 登录并检查站内短信 | 个人设置 网站首页 |  论坛首页 |  博客 |  搜索 |  收藏夹 |  帮助 |  团队  | 注册  | RSS
主题: 回随网的“自行重构”：第三只手不是自己的
回复主题   printer-friendly view    海纳百川首页 -> 罕见奇谈
阅读上一个主题 :: 阅读下一个主题  
作者 回随网的“自行重构”：第三只手不是自己的   
路过
[博客]
[个人文集]
警告次数: 1





加入时间: 2007/06/27
文章: 1578

经验值: 16928
文章标题: 回随网的“自行重构”：第三只手不是自己的 (636 reads)      时间: 2007-7-29 周日, 下午9:59
作者：路过 在 罕见奇谈 发贴, 来自 http://www.hjclub.org

看到随网在“轻轻地回”的帖子里，
http://www.hjclub.com/showtopic.asp?ID=2648732
提出了个实现其“高层次的”why的简单的how。俺也轻轻地回一贴。

这个how，确实很简单。可惜，不顶用。

现有的人工神经网络在修改权重时，依照一定的理论而行。譬如，
backpropagation。这样，能在经过强化训练达到稳定状态时找到有限空间内的极值。也就是说，能保证在理论上找到局部的极值。

而随网那个将几个神经元的权重置零，加入几个随机的神经元的简单的how，仅仅是将已经找到局部极值的稳定状态破坏而已。经过几番动荡从新训练后，顶多也就是能回到以前的那个稳定状态。并不能必然导出更好的结果。要是运气不好，譬如，删除神经元时删多了，还可能把层之间的连接切断，把那网络废了。

要想使这个how有效，必须告诉网络，或者让网络自己知道，该删除哪几个神经元，该在那里加入新的神经元才能更好。必须有一套新理论。现在网络没有这个“自行”的能力，得靠之外的第三只手。事实上，现在连这个第三只手都没人知道。也许根本就不存在。

要想使用数理方法之外的办法找到全局的极值，该去试试其他的一些行之有效的方法，如Simulated Annealing。至少这个办法只需要假定一个简单的第三只手：温度，逐渐冷却使温度下降。

所以说，没有how来支持的why，不是什么高层次的。仅仅是想当然的天马行空，比老邓的摸着石头过河还差一大截子。摸着石头过顶多也就是摔个屁敦子，从天上掉下来就得伤筋动骨头破血流。

类比到论坛，新人的加入并不保证论坛的进化。很多时候只是使论坛不得不再次用同样的案例来训练新人。运气不好时还得再来一轮恶言恶语。

保证论坛进化的首先是结构，即制度。它基本上决定了论坛能力的上限。

再有就是新的训练案例，即话题/材料，扩大那个有限的空间，使活跃的神经元更活。这点，金唢呐大侠干了个好活儿。


作者：路过 在 罕见奇谈 发贴, 来自 http://www.hjclub.org
返回顶端
阅读会员资料 路过离线  发送站内短信
显示文章:     
回复主题   printer-friendly view    海纳百川首页 -> 罕见奇谈 所有的时间均为 北京时间


 
论坛转跳:   
您不能在本论坛发表新主题
您不能在本论坛回复主题
您不能在本论坛编辑自己的文章
您不能在本论坛删除自己的文章
您不能在本论坛发表投票
您不能在这个论坛添加附件
您不能在这个论坛下载文件


based on phpbb, All rights reserved.
[ Page generation time: 2.846638 seconds ] :: [ 23 queries excuted ] :: [ GZIP compression enabled ]