玩转Twitter数据：根据好友的状态信息用python对好友进行聚类/分组

结论：

在这篇文章中我介绍了我第一次尝试对我twitter上的朋友（我follow的）进行聚类分组。为此，我只考虑我朋友的twitter状态信息，并根据他们写的内容（文本信息），用聚类算法将用户进行分组。

这里所使用的算法是无监督学习方法一种, 叫做层次聚类。它的对数据的聚类效果很好，但它的缺点是计算速度非常慢（消耗的时间和计算能力），因为它需要计算所有元素之间的距离。

这里使用的距离度量方法是Pearson关联系数。通过树状图和标签云显示的结果可以给我们一些有趣的结论。算法成功地将用户聚类到分组中

其他技术也同样可以适用于这里。下一篇我将介绍一些其他用于聚类数据的方法, 以及一些功能强大的工具，用于显示分组之间的关系。

要下载源代码。点 这里 。

]]> http://dajianghu.org/archives/138/feed http://dajianghu.org/archives/135 http://dajianghu.org/archives/135#comments Sun, 17 Jan 2010 15:32:28 +0000 一陀浆糊 http://dajianghu.org/?p=135 原文地址: http://nathanmarz.com/blog/hadoop-mathematics/

我希望我在一年前就知道这些。现在，通过一些简单的数学我终于可以回答下面的问题：

• 当机器的处理能力加快一倍, 为什么整个系统运行的速度没有增加一倍?
• 如果故障率增加10%,为什么整体的运行时间增加了300%?
• 为了得到最优的性能和容错表现, 一个计算机群应该部署多少机器？

一个简单的数学公式可以巧妙的回答所有这些问题:

运行时间=系统开销/（1 - （1小时数据量的处理时间) ）

我们将在稍后证明这个等式。首先，让我们简要地讨论一下“Hadoop为基础的系统。(分布式系统)”¹ Hadoop的一个常规应用是处理一个连续输入的数据流。这种工作流运行在一个“while(true)”循环当中，每一次处理的数据是上一次的运行结果。

接下来的分析可以归纳为一个简单的例子。假设你有一个工作流程需要12小时运行，因此，它每运行一次需要处理数据12小时。现在让我们假设需要做一些额外的计算工作，估计将在现有的工作流上增加两小时处理时间。问题来了。整个系统的运行增加的时间可能会远远多于两小时。它可能会增加10个小时，几百个小时，或者可能失去控制并且每一轮运行越来越慢。

为啥呢？

关键是你将系统需要12小时处理的数据运行时间增加到了14小时。这意味着下一次运行的工作流程，将有14小时的数据需要处理。由于下一个迭代有更多的数据，将需要更长的时间运行。这意味着下一次迭代会有更多的数据，等等。

要确定怎么让运行稳定，让我们做一些简单的数学。首先，让我们写了一个系统运行一次的公式：

运行时间=系统开销+（单机处理1小时数据的运行时间）*（总数据量/单击处理1小时的数据量）

系统开销是指任何常数时间的消耗。例如，启动一个程序的开销。任何运行时间同数据量无关的开销将属于这个“系统开销”这个类别。

“单击处理1小时数据的运行时间”指的是系统中的动态处理数据时间 。这是处理的实际数据量花费的时间，去掉了固定的系统时间开销。如果每个小时数据在系统中需要运行半小时，这个值为0.5。如果每个小时数据需要运行两小时，这个值为2。

为了简洁，让我们重写上面的公式中使用的变量：

T = O + P * H

要确定系统的稳定运行时间，我们需要找出系统运行时间和需要处理的数据量之间的关系。为了做到这一点，我们只需假设T = H：

T = O + P * T
T = O /（1 - P）

这就是之前提到的公式。正如你所看到的，系统的运行时间同系统开销是线性相关的。所以，如果你能减少25％的系统开销，你的系统运行时间也将减少25％。然而，系统运行时间同动态处理时间”P”是非线性相关的。这方面的一个直接体会是，随着机器数量的增加, 系统性能提升效果是不断缩小的。

有了这个公式，我们可以回答所在本文开头提出的问题。让我们一个一个的解决他们：

当机器的处理能力加快一倍, 为什么整个系统运行的速度没有增加一倍?

机器加倍将减少你的“处理一个小时数据的时间”（P的50％）。2 3 整个系统的提升效果，完全依赖于增加机器前P的取值。让我们把增大机群大小前的系统运行时间称为“T1”，增加之后的称为“T2”。我们得到两个等式：

T1 = O /（1 - P）
T2 = O /（1 - P / 2）

T2 / T1表示的就是提升的效率, 新系统运行效率比旧系统提升的比例。于是有了：

T2 / T1 =（1 - P）/（1 - P / 2）
T2 / T1 = 1 - P /（2 - P）

通过公式我们得到如下图，x轴表示P, y轴表示加速的比例⁴：

该图说明了一切。如果您的P非常高，比如1小时数据需要需系统运行54分钟，那么机群加大一倍将导致新的运行时间为原运行时间的18%, 效率提高了82％！这是一个非常反直观的结果-我强烈建议读者仔细思考产生这样效果的原因。

如果你以前的P不高（如1小时数据系统只需运行6分钟），那么机群加大一倍对运行时间的影响几乎没有-只有约6％左右。这是有道理的，因为运行时占主导地位的是系统开销. 实际处理数据占总运行时间的比例非常小.

如果故障率增加10%,为什么整体的运行时间增加了300%?

这个问题说明了系统稳定性的重要性。在一个大的机器集群中，将会一直碰到各种机械故障，因此重要的是失败率峰值不会影响到系统核心任务的运行。对于这个问题的分析，看起来同上一个问题非常相似，但这个时候，我们在降低，而不是提高它的处理效率。10％的故障率意味着数据处理的时间增加了11%⁵。这意味着我们的“处理一个小时数据的时间” （P）将增加11％。和上一个问题一样，让我们把没有故障发生的运行时间称为T1, 而发生失败后运行时间称为T2：

T1 = O /（1 - P）
T2 = O /（1 - 1.11 * P）
T2 / T1 =（1 - P）/（1 - 1.11 * P）

我们得到下图：

正如你所看到的，系统机群的规模越小, 故障率对运行时间的影响越剧烈。因此，让系统的P保持在低水平非常重要。⁶

为了得到最优的性能和容错表现, 一个计算机群应该部署多少机器？

这是一个非常典型的成本效益分析实例。我们已经看到，通过增加机器机群的大小，提高系统效率的效果逐渐减小的，一旦P（“一小时数据的处理时间”）低于30分钟（0.5），增加机器获得性能提升将小于线性比例。⁸ 我们也看到保持P值在低水平是多重要，否则在故障率提升或者利用群集进行其他工作时可能会明显增加系统运行时间。因此，你需要为你的系统计算出公式中的数字，以确定最佳的机器数量。9 10

对n个元素的数组，一个极简单有效的随机排列算法如下所示：

for(int i = n-1; i > 0; i–){
swap(i,rand()%(i+1));
}

这个算法初看起来并不自然，但其实是很简单的。直观地看，排列过程中，数组分为两部分：排列就绪部分（长度为n-i）和候选元素部分(长度为i)。每次从候选元素部分随机取一元素(rand()%(i+1))，放到排列就绪部分头部，将所占据位置上原来的元素扔进候选元素部分。注意到，候选元素部分的顺序是无关紧要的，因为一个元素无论处于什么位置，下一次被选到的概率都是1/候选部分长度。因此为了算法复杂度低和简单起见，每次都将被占据位置的元素与被选到的元素交换（这两者有可能是同一元素）。简单地说，它的思想就是从一堆元素中随机选出一个来，再从剩下的元素里随机选择，直到选完为止。

严格证明的话，用数学归纳法是简单的，对n进行归纳即可。但好久不做数学题，头脑快生锈了，因此尝试一下复杂一些的证明，证明思想是对原位置i的元素进行跟踪。

定义一个函数：候选部分长度为n时，当前数组第i个位置的元素在算法结束后处于第k个位置的概率。

元素i第一次参与交换（即swap()的参数中出现了i）后，处于位置j(j=1..n)的概率有多大呢？有两种情况，第一种情况是i<=j，这时发生的事情就是第n-j+1次交换时，元素i与元素j发生了交换，如下图所示：

这个发生的概率是：P(元素i与元素n没有交换)*P(元素i与元素n-1没有交换)*…*P(元素i与元素j+1没有交换)*P(元素i与元素j交换) ＝ 

第二种情况，j<i，这时发生的事情就是第n-i+1次交换时，元素i与元素j发生了交换，如下图所示：

这个发生的概率是：P(元素i与元素n没有交换)*P(元素i与元素n-1没有交换)*…*P(元素i与元素i+1没有交换)*P(元素i与元素j交换)= 

因此在两种情况下，元素i在第一次参与交换时，被换到位置j(j=1..n)的概率都是1/n。

因此有：   ，m为i第一次参与交换后候选数组大小，m=1..n-1。

即元素i最终处于位置k的概率，等于第一次参与交换后处于位置j(j=1..n)，之后再被换到位置k的概率。

由于 ，（1≤m≤n，1≤k≤n），即数组内总有一个元素j，算法结束后处于位置k，因此

即位置i的元素最终处于任意位置k的概率都是 ，得证。

1. 左翼(left-wing)和右翼(right-wing)的历史

以左右来划分政治派别, 起源于法国大革命. 在那个叫路易XX为国王的波旁王朝最后掌权的年代, 法国议会的右边坐着保皇党人, 而左边则是激进改革派. 从那时候起, 为政治派别首先划分开了阵营, 便于扎堆和排队, 区分敌友.

2. 传统意义上的”左”"右”二元区分

先来看看, 左右翼阵营划分之初, 两边的区分

从这个最基本的分歧上, 后续产生了分居两边的各种主义和体系, 社会主义/共产主义/资本主义, 大陆法系/英美法系等等

但”左”"右”的划分和阵营不是一个绝对的划分, 而是相对的概念

当法国大革命轮到罗伯斯比尔和雅各宾派上台的时候, 自由主义的左派在砍了国王的脑袋以后, 也开始为了维护自己的政权疯狂的砍其他异见者的脑袋.这一点上讲, “左”和”右”都可能成为保守派, 只要在他们掌权以后; 同时也都可能是改革派, 那是他们在野的时候.

3. 多维的”左”"右”

将斯大林, 毛泽东和甘地都放在左派的阵营里面, 我们还是感到了他们之间巨大的差别, 尤其是斯大林和甘地.就像今天的中国一样, 从历史和政体上他都像一个左翼政府, 而且有着中国几千年中央集权大政府的传统, 但却拥有偏右翼的市场经济. 那么中国应该算左右哪个阵营呢?

www.politicalcompass.org给了我们一个更多维度的解释方法—–将经济和社会各个维度独立开来.

x轴代表经济上的左右, 一边是经济上的集体主义, 一边是经济上的自由主义; y轴代表社会制度上的左右, 一边是专制, 一边自由意识. 那么斯大林和甘地就可以区分开了, 斯大林是专制左派(国家利益大于个人); 而圣雄甘地是一个自由左派(强调每个个体的利益), 虽然他们的经济目标都类似, 但手段上还是有差别. 一个是用强制手段, 来吧都来搞集体主义, 不然搞你; 一个是自愿参与.

至于毛时代的中国, 毫无疑问的应该在第一象限; 而邓之后的中国相信已经落在了第二象限.

4. 做为政治工具的”左”"右”

在一个传统意义上单一维度的左右,  给玩政治的搞出了很多便利条件.  比如, 只要比我右统统可以称作右派, 这样划分阵营就容易多了. 从中国近代史上, 先是靠打击左派搞定瞿秋白, 王明, 博古, 之后就是漫长的日右派的时间. 尤其是在一个专制政权下, 是不允许有不同意见的, 那么站错队就是死罪.

在一个左翼政权下, 给”左”做了很多功课, 在洗脑教育的熏陶下, 就算搞不清楚到底是什么东西, 也留下了”左”是积极的倾向, 而”右”是腐朽落后的. 其实不才觉得”左”"右”没有绝对的优劣, 只是不同选择罢了.

举个极端的例子就是纳粹, 纳粹经常被宣传为“极右”理念, 其实在他身上也有社会主义的影子. 纳粹全称叫“国家社会主义工人党”, 他们自己也承认自己是走社会主义路子的, 除了这个没什么概念的名字外, 纳粹的政治主张也有很多”左”的主张, 比如典型的对富人加税, 纳粹不是在全国范围加税（左派喜欢争辩说那是为了给战争机器提供资金），而是在4年时间里，对大约1/4的收入群体加税。 难怪当初帮助纳粹掌握权力的工业家Fritz Thyssen在1940年说道：“很快德国就会和布尔什维克的苏联没有区别了，不按照‘计划’做的企业家会被指责为背叛德国人民，然后被枪决。”

“左”"右”的概念相对直线而言, 更像是一个圆圈, 极左和极右会在远端回合, 或者说更像一个“魔比斯环”. 就像现在距离天堂最近的北欧诸国, 虽然是传统的资本主义阵营, 奉行的也是自由市场经济, 甚至还保留了君主制. 但从社会角度看, 却实现了左翼政权的理想—-消除不平等和共同富裕.

从法国大革命走出来, “左”和”右”已经摆脱了所谓进步与落后, 之前我们对”左”或”右”过多的美化和偏见都可以暂抛一旁.

5. 集权和民主

经济上左右的选择也是个to be or not be的问题, 也许永远也不会有正确和错误的结论, 同时也许也没有纯粹的”左”和”右”.

在集权和民主和争论也是同样, 中国是个有几千年中央集权历史的国家, 而往往盛世王朝都是集权大一统的时代, 中国人对于集体主义的效率和优势有着天生的认同和感知, 在此就不再赘述了.

西方在经历了中世纪宗教极权(算是极端的权利集中了)的黑暗时代后, 从宗教改革到文艺复兴, 却给了自由民主一方一些活生生的例子.

美国的独立史, 可以认为是这种思潮的爆发. 从汤玛斯.佩恩的“常识”开始, 到富兰克林起草的独立宣言, 都是其中的经典. 用天赋人权取代了君权神受.人作为个体的权利被正式搬上了法典.

“我们认为下述真理是不言而喻的：人人生而平等，造物主赋予他们若干不可让与的权利，其中包括生存权、自由权和追求幸福的权利。为了保障这些权利，人们才在他们中间建立政府，而政府的正当权利，则是经被统治者同意授予的。任何形式的政府一旦对这些目标的实现起破坏作用时，人民便有权予以更换或废除，以建立一 个新的政府。…….. 过去的一切经验都说明，任何苦难，只要尚能忍受，人类还是情愿忍受，也不想为申冤而废除他们久已习惯了的政府形式。然而，当始终追求同一目标的一系列滥用 职权和强取豪夺的行为表明政府企图把人民至于专制暴政之下时，人民就有权也有义务去推翻这样的政府，并为其未来的安全提供新的保障。“

集权和民主之间的优劣, 由于浆糊本人有比较明确的立场,  也许会有过分美化和丑化的嫌疑, 在此就不再继续深入的展开了.

二. 中国的”左”"右”故事

中国的近现代史上, 由于掌权历史的是一个左翼政权, 基本上是挺左反右的基调. 当然遇上派系斗争, 挣权夺利的时候, 左也是可以拿出来的说事. 作为一个基本不懂历史的宅男, 在洗脑教育中, 基本没留下什么有用的东西. 对于没有亲历的历史, 只能从后来捡回来的点滴人和事里面妄图窥探当时的片段.

1. 延安整风

1937年，一个瘦瘦弱弱的文学青年奔赴延安的时候怎么都不会想到等待自己的会是一场灾难，他只是像当时大多数才华出众的大学生一样怀着对圣地美好的梦想，因为不满国民党当局而奔赴心中的理想， 他叫王实味.  “我们青年的使命就是要用我们的力去捣毁一切黑暗的渊窟，用我们的热血去浇灭一切罪恶的魔火，拯救砧危的祖国，改造龌龊的社会，乃是我们应有的唯一的目标与责任。”在延安，他专门从事翻译马克思、恩格斯、列宁原著的工作。四年间单独或与人合作共译出近二百万字的理论书稿。算得上正统的党内理论家吧。

1942年3月在写下了一组杂文《野百合花》. 在这组杂文里面批评等级制度，批评革命圣地缺乏爱与温暖，批评圣地载歌载舞的升平气象，多少热血青年奔赴延安就是为了寻求”美丽与温暖”，所以对”丑恶与冷淡”忍不住要”发牢骚”。由此开始了一场针对王实味暴风骤雨的批判，很快，由于党的高层介入，这场批判也变成了整个延安的文艺整风运动，王实味的被迫不停的自我检查，承认自己 “有浓厚的虚无主义倾向”，”小资产阶级病态的忧郁性”和”极端顽强的自以为是”，并说自己”神经确实有些异状”。像瞿秋白，陈独秀一样，这也是敏感而又天真的人，即使在山雨欲来的批判大会中，他还执着于他的人性论，说”斯大林人性不可爱”，苏联清党时”斯大林不知造成了多少罪恶”？”斯大林的性情太粗暴了”。

1946年春，社会部部长康生批准处死王实味，没有起诉、没有审判、没有上诉和裁定。当时国民党胡宗南部已经围剿过来，为了节省子弹，王实味被从后砍头，尸体丢在了一口枯井之中。

2. 57年反右

杨显惠有本书叫 《夹边沟记事》. 讲的就是这时候右派的故事. 夹边沟，甘肃酒泉境内沙漠边缘一个昔日的劳改农场，多年来，默默无闻，不为人知。一九五七年十月至一九六Ｏ年底，这里关押了甘肃省近三千名右派。在天寒地冻的沙漠中，他们与世隔绝，终日劳作，并且经历了罕见的大饥荒，几乎吃尽了荒漠上能吃的和不能吃的所有东西，最后被活活饿死——三年时间里，饿死的右派数以千记。

“没有房子住，没有粮食吃，没有水喝，只有光秃秃的一片旱滩。一千多名右派就像原始人类一样，穴居在山洪冲出的两道山水沟里的地窝子和窑洞里。…… 死亡高峰不可避免地到来，每天都有数十人死去。由于右派死亡太多，而且渐渐地连掩埋死者的右派都很难找到了，他们都再也没有足够的力气了，因此，对死者的掩埋越来越草率，大都是用肮脏的破被子裹一裹，拉到附近的沙包里，简单地用沙子盖一下了事。当时的右派们形象地称之为“钻沙包”。 一九六Ｏ年的冬天，右派们真正进入了生命的绝境，也就是在这时候，夹边沟事件中最为惊世骇俗的一幕出现了：活人吃死人……”

3. 文化大革命

一位天津作家冯骥才先生有本书《一百个人的十年》 , 用”口述照实记录，不做任何演染和虚构”的方式, 还原了一百个普通中国人在”文革”中心灵历程的真实记录，显现那场旷古未闻的劫难的真相. 这本书里，记录了很多荒谬又残酷的事实。14岁被打成特务；因为父亲成为右派而与他断绝关系；8岁成为死刑陪绑者；阖家寻死而亲手杀死父亲；变着法子整人的种种……

“有的右派熬不住就自杀, 找不到自杀的家伙，便在吃饭时把筷子插进鼻孔，把头用力往桌上一磕, 筷子就穿进脑子, 还有的跳粪坑活活憋死 …….”

4. ………

三. 量化的”左”"右”

1. 政治罗盘:http://www.politicalcompass.org/test

英文的政治倾向测试.

2. 北大未名版: http://blog.farmostwood.net/politics_bdwm

中文版的测试, 题目设置有了”中国特色”

感兴趣的可以试一试

援引北大未名版作者的一句话作为结尾

“我个人并不以为左和右之间有最好和最坏之分，在我心中最坏的时代便是没有人敢于选择自己的倾向的时代”

好像整一巴掌拍在男人们的脸上
而这些个男人们，上下五千年，劣根性却是从未改变
关于汉武帝，还有很多有意思的绯闻故事
比如那个金屋藏娇后又被废的皇后陈阿娇
传说汉武帝本身非常好色，入土做鬼后还经常半夜飘到宫中，猥亵宫女
放到现在来看，这种绝对属于道德问题，再早个二十多年，要被联防队手电筒照照拉去教育的，再早个三十多年，就是政治问题，严重点是要被枪毙的
但也是这个好色的汉武帝，即便纳了倾国又倾城的李夫人，却同时又成功地在治国上秉承文景之治，通西域拓疆土，创造了西汉最为鼎盛的大一统时期
所谓自古红颜多祸水，终究让人觉得是男人在自觉不成气候的时候一句无力的开脱与辩驳罢了

换个角度来说
为什么我们评定历届古人时可以把他的私生活和政绩分开看
对活生生的生活在身边的或者只是生活在同一个时代的旁人，却有那么多道德标准呢？

淇淇是人类见过的最后一条活着的白鳍豚。虽曾于2004年发现过白鳍豚的尸体，然而之后数次大规模的监测活动中却再也没能找到它们的身影。两年前的8月8日，这种我们从小熟知的“长江女神”，“水中大熊猫”，终于被宣告灭绝。

在白鳍豚馆里的22年中，淇淇虽然有过短暂的伴侣，绝大部分时间都是在孤独中度过的。设想一下，如果你是世间幸存的最后一个人，对于你这意味着什 么？是不是旷世的孤独、绝望与无助？这样不幸的事情正发生在它的身上。再也找不到谁与它结伴而游，喜欢结群的它只能在池中独自游弋；任凭它引吭高唱，这世 界上已没有谁能理解它的声音。

就在80年代，长江上还有几百头白鳍豚，偶尔还能见到它们在水中翻腾的身影。黄金水道的开发，给人来带来的是滚滚黄金，给他们带来的却是水闸阻断洄游路线，水体污染，以及撞击螺旋桨的事故。赖以生存的母亲河，终于成了它们最后的墓地。

我一直不愿相信白鳍豚的灭绝，我宁愿相信它们像尼斯湖水怪一样，看透了人类的本性，躲在一个神秘的地方，从此与人类不再相见。

下面的图片是一位网友在黄州江滩拍得。江水的冲刷，竟形成了酷似白鳍豚的造型。淇淇，这是你的化身么？在这7年之祭，我谨以此文为你招魂。

1，用800万买性能高的服务器，200万雇专业能力一般的技术人员；

2，用200万买性能一般的服务器，800万雇专业能力优秀的技术人员。

哪种更划算呢？

之前想了几次这个问题，但一直没得到一个简便的答案。后来突然想到，这个事情在算法教科书里经常提到。大意就是，假如你的程序使用的算法的复杂度是高于线性的，那么你买一个性能提高了N倍 的机器，你的程序单位时间内处理的数据量并不会提高N倍。

那么机器与人的区别就是，更贵的机器为你的程序带来的性能提升是线性的；而一个优秀的技术人员，通过设计时间复杂度更低的算法，则可能帮你将一个性能较差的程序的性能以平方、立方甚至指数级别提升。如果这样想的话，第2种方案更为划算。

这是一个很开放的问题。这里只是从性能这个角度去考虑，而且纯粹是理论上的。实际中需要考虑的因素更多。大家有何想法呢？

最低级的社会，是森林那样的社会，不需要任何组织和上层建筑，唯一的法则是“弱肉强食”。但是随着社会的进一步发展，弱肉强食的法则显然行不通了，比如我们总不能让相对较弱的妇女儿童随便被“弱肉强食”掉，或者有些人比较有远见、有些人较有智谋，但身体相对较弱，总不能让这些对群体有用的人也被“弱肉强食”掉。因此需要一个统治阶层，形成一套社会组织，来行使更有利于群体发展的社会法则。从这位纯真少年的朴素社会模型来看，统治天然是服务性质的。

但是随着纯真少年年龄的增长和阅历的加深，他变成一个理工男，并且看到了中国社会的很多现象都不符合这个朴素模型，甚至对这个模型进行修正也行不通。好奇的理工男于是慢慢形成了一套新的社会模型，来帮助自己理解新观察到的现象。就像物理模型一样，它摒弃了大量的繁琐的细节（有可能是重要的细节），只留下简单的一个社会过程。

一个模型通常需要定义一些极端简化的实体，这里也不例外。首先，有必要对好人和坏人来做一下定义。好人和坏人并不是两个截然分开的集合，而是数轴上的两个端点。极端的好人倾向于善待社会群体中的其他人，做事更倾向于责任、信仰，而不是受个人利益倾使；坏人则相反，更倾向于通过侵犯他人的利益来最大化自己的利益，做事更倾向于受个人利益趋使。

刚才提到的朴素社会模型，盲点之一在于统治阶层的形成过程。这个形成过程我们希望它是有序的、被有利于群体的法则支配的。但是悖论在于，统治阶层形成之前，新的法则尚不存在，社会基本上仍被“弱肉强身”法则支配，因此这个统治阶层形成的过程就大有问题。在这个新的社会模型中，统治阶层形成的过程中发生了一件重要的事情，与“劣币驱逐良币类似”，那就是“坏人驱逐好人”。

坏人为什么能够驱逐好人？去除大量的具体细节，我认为主要是基于这样一个论证：因为坏人受个人利益驱使，不择手段，他完全可以假装是一个人好人。也就是说，在坏人的本质上可以虚拟出一个好人！这样，坏人的能力至少等同于好人，即好人能做的事情，坏人都可以做。而坏人能做的事情，好人则不一定能做。为什么好人不能模拟一个坏人？为了回答这一点，需要联系到《人工智能－一种现代方法》中提到的概念。这本书中提到有两种智能体，一种是goal-based的智能体，一种是utility-based的智能体。前者是给它设定了目标，它采取任何可能的手段，只要达成目标就完事；后者还是有一定的目标的，只不过在目标之外还有很多的限制，比如我要到达某地旅行，不光到达那里就完事了，还要尽量在旅途中保持舒适、安全、费用尽量少，等等。也就是说，如果单以是否达到目标来衡量的话，utility-based的智能体是有一定弱势的，因为它的限制比较多。我这里提到的好人也是这样，由于他要考虑到群体中其他人的利益、他的责任和信仰，为了达到“成为统治者”的目标，他的限制是比坏人要多的。这样，坏人的能力是好人的超集。

在统治阶层的形成过程中，通过“坏人驱逐好人”的过程，好人被轻松淘汰掉了。如果统治阶层是一个金字塔，在智慧、体力等自然能力相同的情况下，越“坏”的人越容易爬到高层。

在坏人形成统治阶层头目的时候，这个统治阶层将是什么样的性质？显然它已经大大偏离了上面的朴素模型的“服务性质”。想象一下，我是一个坏人，我的目的是获得最大化的个人利益，那么我将使整个社会变成一个“羊圈”。牧羊人的目的是从羊圈身上获取到羊毛和羊肉，而统治者的愿望是通过社会这个大羊圈内的人们的劳动，获得尽可能多的财富、美女，等等。那么统治者理想的社会是什么，是稳定的、顺从的。为实现这样的社会统治者将使用很多手段，一个重要的手段是思想文化方面的。这种思想方法具有这些特征：首先，思想文化必须足够单一，不能思想太活跃了影响稳定；其二，这个思想文化不能包含足够强的逻辑和真理，最好有点模棱两可，能够使民众足够愚钝和顺从；其三，这种文化可以影响民众中较有才华和能力的人，将他们吸纳到统治阶层中，以巩固统治。“儒家”文化、以及后来经过统治阶级优化的马克思主义、辩证论等，恰 好很符合这些特征。

随着时间的推移，接下来又会发生什么呢？注意到，社会主流文化主要会造成两方面的问题。首先，由于思想文化本身含有愚民性质，它对人们思维和创造力的危害是巨大的，在那些高度需要思维能力和创造力的领域，如科学领域，难以开花结果；其次，在统治阶层，表面上仍宣扬主流的思想文化，背地里却会形成一种叫做“厚黑学”的潜规则，人与人之间勾心斗角，导致统治阶层中厌倦了这一套的人、或者勾心斗角中的loser，开始追求另一种文化，即超脱避世的老庄哲学。

由于“厚黑学”，以及统治阶层本身的利益驱逐性质，统治阶层的人们像蛀虫一样腐蚀着统治阶层本身，导致随着时间的积累，统治阶层自身成为一滩烂泥。本来，统治者将民众圈养起来，让人们相对稳定和安全，对社会是有一定好处的；但随着统治阶层本身烂掉，连这种羊圈性质的稳定和安全也逐渐无力维持了。中国两三百年的朝代，一般是前半个世纪处于上升期；而后逐渐被自身的统治者腐蚀，积弊越来越来深厚，开始了长达一两百年的腐蚀和苟延残喘的过程，伴随着对百姓越来越严厉的搜刮，以填补腐蚀造成的空洞；最后半个世纪积弊爆发，陷入混乱，开始新一波的“群雄逐鹿”。按这个分析，百姓的生活，也就这个朝代的前半个世纪还相对不错，后来则越来越残酷了。

如何打破这个可怕的循环，直至形成朴素理想中的社会，西方的经验告诉了我们很多，我这里就不用阐述了。但令人深思的是为什么西方社会可以形成足够良性的社会，而中国社会却总是陷入恶性循环呢？我想关键仍是从无序的社会形成有序的社会这个过程，只要这个过程足够良性，从这个过程中获得权力的人是真诚地想要形成一个理想中的社会，而不是为了达成私人利益，那么如何组织这样的社会，则是可以逐渐优化的技术细节了；否则即使有人打着自由民主的旗号，背地里仍可以通过修改关键的参数和规则来达到自身利益最大化的目的。一旦这个有序的良性社会形成，以后的社会都在这个框架内运转和自我修正，就更不用担心什么了。这是很难找到答案的问题，但从宗教信仰上也许可以找到一些说法，西方普遍具有宗教信仰，人们相信自己做任何事情，都有个上帝看在眼里，导致有序社会形成过程中，“坏人假装好人”这个过程较难实现，因为在上帝面前无法伪装。另外，西方的宗教信仰是独立于世俗社会，与统治者无关的；而中国社会即使有宗教信仰，也是在一定程度上受统治者影响，为统治阶层服务的。

那为什么西方有信仰，中国社会又没有呢？这个问题太难回答了，我一个理工男，满足于自己构造出来的粗糙模型，能够解释心中的疑惑就行了。至于为什么一定要自己琢磨出来，学术大师们没有研究过吗？主要是考虑到，中国社会，“普天之下，莫非王土”，导致社会中没有什么能绝对独立于统治者的影响，学术也不例外。

对于海量数据的网络, 人们有哪些需求?

一种是”找”, 用户知道自己想要什么, 就像从杂物间里面找硬币一样. 另一种是”听”, 我不知道我要什么, 你来告诉我这里有什么好玩的东西, 也许我会感些兴趣.

十几年前, 有种叫搜索引擎的东西被造出来替人们去做第一件事情.但对于第二件事情,  却很难有个聪明的机器去替我们做, 因为机器还没智能到可以在没有任何人类提示的情况下, 从一堆一堆垃圾里面找到精华.

这里面唯一值得一提的就是新闻聚合,  把新闻网站的内容聚出焦点来.  这是一个好的开始, 但还不够.如果我怀着一颗好奇的心, 那么我该去”听”谁的呢? 网络时代之前的做法被沿用了下来.

1) 相信专业: 媒体编辑的职业就是干这活的, 天天看, 天天选. 他先替你一层一层选一遍, 你跟着他混就行了.这招准确率还行, 覆盖率不够. 同时严重依赖编辑的水平和操守, 最可怕的是遇到新闻联播型的媒体.

2) 相信大众: 别人都说好的, 咱也别错过. 这个依赖于群体智慧的整体水平.

3) 相信自己: 把所有东西看一遍, 自己来筛选精华.  这个方法好, 但似乎代价太大了……

先把发现信息的难度撇开不谈,光是每天访问 solidot, engadget, 煎蛋, 草根, 牛博, yeeyan, 1510, keso, 一言谈, 小众软件…………..已经让人筋疲力尽了,更不要说web 2.0发展之后, 在发布信息几乎0成本的条件下, 变的更长和更扁平的信息源长尾了.

信息源头现在已经不是问题, 获取信息的成本成了瓶颈.技术的创新, 首先从第3)点上开始帮助人们解决问题.

rss和阅读器的产生, 从信息源被动等待访问, 变成了信息源主动推送. 对于获取方而言, 寻址和访问的成本被节省下来.个体可以关注的范围被扩大, 但很快, 又淹没在新的信息流当中.现实是订阅量越来越大, 同时未读的东西也越来越多.这一点上讲, rss阅读器没能帮助人们在对付信息过载上走多远.

这时候就需要提一下meme理论.

meme是相对于遗传中的gene(基因)提出的.类似生物繁衍的本质在基因的传递, meme是信息传播中的因子.基因是通过遗传的形式传播, 而meme是通过模仿复制.

举个例子来说,  当一个人听到或读到某个好的想法后，他把这个想法传给他的朋友，接着他的朋友又把这个想法传递给其他的人，这个过程就是模仿，通过模仿，想法从一个人的脑中传到另一个人的脑中，并不断地被复制传递。

meme自身可能并不是完善的, 在传递的过程中, 也存在着变异和选择.如人们在转述一个事件时，或许会添加一些细节，或许会删减一些内容; 有些歌曲比较容易记忆，并能很快传播，有些歌曲则很少被传唱.

这样来看, meme和基因一样, 也是一个自然选择的过程. 优质的meme会得到更广泛的传播, 传播的过程也会使留下来的meme自身得到完善.

在网络环境中, 我们姑且称其中的meme为网络meme(internet meme).email, blog, sns网站, im给网络meme一个迅速传播, 选择的过程.

前面提到的新闻聚合服务, 其实就是利用新闻报道和转载的过程, 寻找优质meme的应用.信息筛选的过程实际变为记录meme自然选择的过程, 获得传播量优势的meme自然就是优质的.这就给机器的介入提供了机会, 机器可能无法理解meme的内容, 但利用人对人的传播过程, 机器就可以理解他的价值, 前提是机器捕捉到传播的过程.

就以“无处不在的五毛党”为例

这篇blog在可能吧上发出后, 先后通过微博客, rss reader等方式进入了社会化网络, 当然还有可能有im, email, 只不过这些信息我们无法follow到.

微博客上的转发, rss reader上的分享, 这是第一级的传播.

进而鲜果的推荐, 玩聚的热点, 豆瓣的9点这类meme挖掘服务也捕捉到了, 这是第二级传播

之后出现的大量转载和复制, 又使他有了第三级传播

直到被我们可爱的网络监管部门发现, 勒令删除. 可见传播的范围之广.目前在搜索引擎上仍可以搜到大量的复制品, 这些复制品仍将继续传播下去.

而且值得庆幸的是, 这整个传播过程除了”有关部门”的部分, 都是可以被机器捕捉下来的. 尤其是有先天技术优势的搜索引擎.

对于信息推荐上, 有理由相信是有第4中方法的, 就是

4) 由机器代替人去选择.

白社会, 淘江湖, 做一个重复的类似twitter的服务, 只不过继续延长信息源的长尾, 增加信息过载的程度罢了.像豆瓣9点, 玩聚sr, 甚至更广泛意义上的信息聚合才是更值得期待的互联网应用.

“中国文化的核心之一就是一个“仁”字。仁者，二人也（圣人的诠释），换句话说，一个人是不是仁者，是他人决定的，而不是自己。如果大家都认为你是仁者，那么，仁者，便无敌了。”

据传简体中文版, 略有删节, 未找到电子未删节繁体中文版.

http://www.douban.com/subject/1068912/

其实所谓仁者, 往往都是忍者.