吴楚狂生

高端？低端？谢谢！

2009-04-23T21:54:00.007+08:00

首先恭喜你！为什么呢?
因为如果你看了这个标题后，并进来读这篇文章时，表示你是一个高端互联网用户了。
这篇文章我们就来看一下互联网中高端与低端。
何为高端，何为低端？可以用地图来解释一下，如果一个互联网产品的使用用户开始从我天朝东部发达地区开始，那就可以把它称为高端；反之，如果开始时的用户从天朝的各个地方或是从西部开始，那么基本上可以把它称为低端。
那么，你一定会对此为意见了！不急，一家之言而已。
今天先来罗列一下。

www.hao123.com VS www.h2w1.com
好123是一个让做互联网的专业人士感到大为一惊的网站，据说每天进帐400W RMB。定位绝对低端，现在已经是百度旗下！它的页面不但是在“强暴”你的眼睛，而且它还与国策有一样的特质，保持不变！！而合二为一 (www.h2w1.com)，定位是高端用户，像你可以试试，一个自定义网站，可以方便你把公司内网地址写上，可以方便你换浏览器，换电脑不用怕忘记网址，还有可以让你存些“隐私”网址。这点对有特别喜好的人可能是卖点。不过它现在被百度封杀，百度太看得起它了！我在用，而且推荐你也用，高效人士的不二首页！
www.51.com VS www.xiaonei.com
说到sns，无数人为它疯狂啊。特别是开心的崛起，简直就是神话！51，公司在上海，可是在二级城市才可以看到大量广告，在杭州你是基本看不到的。以“边缘色情”为主要卖点，把大量二三级城市用户吸引上来!去年被看好得不得了，它是低端的。而校内，从校园开始，大学校园开始，大学虽然各地都有，但是以东部为主来推广，因为这个东西大学生容易接受，也有这个找同学的需求。但是走出校园就有点难度了，以找同学找人，六度理论对于我朝百姓有点玩。不像开心，就是让你玩！两个都不用。因为QQ也开始做了，我有朋友同学都有QQ，我不得不用QQ的sns。
www.xiami.com VS www.1ting.com
虾米，可能你没听过，一个sns音乐社区，音质很好，这是一个卖点。有些高端，首先要让人知道mp3还有音质好坏之分就是个高端的问题。一听，页面和hao123差不多。就是听，从来没让我知道还有个mp3压缩率。我在知道有这么一回事后，就都去xiami了。
msn VS QQ
一个是外国货，一个是本地体货。他们的事情大家比较熟悉了。msn面向白领，高端了吧，QQ，什么人都面向，差点让天朝人以为上QQ才是真的上网！！！我都有用，因为我的朋友什么人都有！
Google Reader VS www.xianguo.com
一个外国货，我在用，比较爽，可以用键盘控制，体验不错。另一下，使用人群比较杂了，比较亲民了。但文章整理得好！！
Gmail VS mail 163
一个很爽的gmail，一个是国内使用率最大的邮箱，gmail功能多，只能高端人群感到用得到，工程师文化的产物。在米国很利害！我在用。相信看文章的你也有。而163，简单实用！如果真是用foxmail或outlook，管他是姓g还是姓163.

e-say英语测试结果

2009-04-15T21:03:00.003+08:00

本表是根据学员当天的预习和上课情况综合给出的学习评价表。

Today's Correction & Comment:

Hi James

Good evening to you! I think your speaking is quite good!

all you need to do is enhance it.

speak english everyday.

It was graet talking with you!
hope to talk to you again!

Thank you
Teacher thina

孩子上网是爸爸管还是妈妈管？

2009-04-15T16:59:00.012+08:00

孩子上网是爸爸管还是妈妈管？让首页来管。
细细道来。

我也快要有孩子了，快要为人父母，感觉一下子就不同了。
前些天阿姨因他家小成成的上网问题，狠狠地批评了成成。电话过来问我应该怎样引导孩子上网？阿姨说不让孩子上网，姨夫说要让孩子学会用电脑。
这个问题可是个大问题啊！！无数专家、学者都有各自的观点，而各种学校也有各自的做法，甚至于大学有规定大学一年级学生不准拥有电脑！！！
现在对于孩子来说，电脑，网络是不可能让他不接触的，如果是强硬政策的话。只怕在家长不知道的情况下会更不可控制。
所以我给她的回答是正确引导。当然我觉得也是最不好执行的方法。想来想去，给孩子一个合适的自定义上网首页是一个现在来说最好执行的方法！

仔细看一下这个问题的原因：

好奇

好玩

所以，到底是到了一个可以执行的点了，那就是尽量让孩子上一些好的网站。但是每个家长不可能都是专家，所以这点也还是有点难度的。但是不管怎样这已经是个技术问题了。
据我的观察和自己的上网习惯，我知道中国人都喜欢用鼠标点，而不直接用键盘写，那26个字母的键盘也不是咱东方人发明的嘛，而对于四五岁的孩子，一开始是不会用键盘写东西的。
所以两点：
1. 给他一批家长认为比较合适的网站列表。
2.限制浏览器只可以上这个网站。

而第二点对于大多数不是专业级的家长，太高深了。所以第一点比较合适，如果家长还是担心，那么孩子一般只是点的习惯可以让你放心。

当然家长抄出一个列表来贴在电脑前总太像对立角色了。所以最好就是让首页做成网站列表，用hao123?不行！因为通过他没有重点，上面的网站不适合孩子。
所以就用www.h2w1.com 这样的自定义首页网站，http://doumiao.h2w1.com/, http://huaduo.h2w1.com/很简单很实用，家长为孩子定一些网站，孩子点点就可以了。这个年龄段正确的上网习惯形成是比较容易正确引导的。

转，大话西游，英语版

2009-04-10T09:26:00.000+08:00

You want? Speak up if you want! Why do you keep silent?
你想要啊？你想要就说吧，你不说我怎么知道你想要呢？

You scare me again.
你又在吓我

How many brothers and sisters do you have? Are your parents alive? Speak up! I just want to make a new friend when I'm going to die.
你有多少兄弟姐妹？你父母尚在吗？你说句话啊！我只是想在临死之前多交一个朋友而已.

Being a devil is the same as being a human. We should be kind. If we are kind, we are not a devil, we are a hybrid.
所以说做妖就像做人一样，要有仁慈的心，有了仁慈的心，就不再是妖，是人妖.

Is this a slaughter house?
莫非是一家黑店？

It's a long night, no mood to sleep.
长夜漫漫，无心睡眠

 愚人节短片：别学英语了！全世界都在讲中国话

If I can't be with the one who I love, I won't be happy even if I were Heaven Emperor.
如果不能跟我喜欢的人在一起，就算让我做玉皇大帝我也不会开心

Should I show you my heart?
要不要我把心掏出来给你看看啊？

But happiness is always a flash of time. We only have endless pain.
可惜快乐永远都是短暂的，换来的只是无穷无尽的痛苦和长叹

When you discover that you’ve fallen in love with somebody you hate, this affair is really hurting you.
有一天当你发觉你爱上一个让你讨厌的人，这段感情才是最要命的

But how can I fall in love with a person I hate? Please give me a reason, please!
可我怎会爱上一个我讨厌的人呢？请你给我一个理由好不好？拜托！

We don't need any reason to love a person. Don't we? Do we?
爱一个人需要理由吗？不需要吗？需要吗？

Love means pain.
爱一个人是痛苦的

You can just get my body instead of my spirit.
这样的话只是得到我的肉体，并不能得到我的灵魂

I have had my best love before, but I didn’t treasure her. When I lost her, I fell regretful. It is the most painful matter in this world. If God can give me another chance, I will say 3 words to her --- I love you. If you have to give a time limit to this love, I hope it is 10 thousand years.
曾经有一段真挚的爱情摆在我的面前，我却没有珍惜，直到失去才追悔莫及。人世间最大的痛苦莫过于此。如果上天再给我一次机会的话，我一定会对那女孩说三个字：我爱你。如果非要在这段爱情前加个期限的话，我希望是一万年。

twisted学习笔记1

2009-04-09T13:23:00.006+08:00

最在项目中用到twisted,所以对于它就有了一个比较初级的认识。
对于在python中大名鼎鼎的twisted,想必相当多人是知道的。使用了之后确实让人感觉很爽！
好了，不广告了。

学习twisted的资料中文比较少，不过还是有许多博客对它有介绍的。我学习主要是看《Twisted Network Programming Essentials 》，和twisted的官方网站。这两个资源都是比较好了，当然还有它的mail list。

1. why twisted

python-powered
Asynchronous & event-based，这点很重要，异步且事件驱动
open source
community-backed
an integration-friendly platform

2. Start twisted event loop

twisted是事件驱动的网络编程框架，它和一般程序的区别就在于它不是按程序员事先的设定的顺序来执行，而是对外部事件而作出反应。就像gui中，对于用户点击一个Button事件，而程序作出的反应。用户点击button就是一个事件。
响应事件其实就是一个不断的循环，而在twisted里，有个类reactor就是来做这个事情的。此外，它还要做调度，线程，连接网络及监听端口等。

3.Establish a TCP connection

在twisted中对于这个例子，要用到是reactor, protocol，要建一个tcp客户端，然后连接到一个服务端的80端口上。

——————————————————————————————————————————————————

有感于百度“老人搜索”

2009-04-07T16:41:00.002+08:00

今天突然看到百度的“老人搜索”，http://123.baidu.com
终于，看到了巨头对于个性化导航的行动。而这正是互联网和网民不断发展的必然结果。之前大家都对hao123的成功看到吃惊，那么下一个网址导航的成功将会是个性化的。
对于hao123或类似网站，大家可能都有用到，即使不愿去没有天天用这个没有美感的网页，也还是不得不用到的。这个需求是钢性的，因为任何一个人的接触面总是有限。
而另一方面来讲，正因为每个人的生活不一样，接触的事物不一样，他们各自要上的网页其实是应该不一样的。当然在现在的互联网现况下，可能大家都只上QQ，百度，新浪。但是随着发展，大家上的网站是会和我们生活中去酒吧一样，去自己喜欢的。
所以像百度刚推出的老人首页，他就是一个起点，我想接着会有小朋友搜索，mm搜索等等，因为需求是一样的。但是作为百度，推出这些让我有点吃惊，我以为会是123.hao123.com。难道他要把hao123弱化？
接着说。
在网上找了一下，自己定义首页网站有几家，其中www.h2w1.com 是用户体验做得最好的。对于相对高端的用户，可以自己去定义首页，但是对于“偷懒”的用户，还是应该有一些能用的，比较123.h2w1.com。

产品的力量

2009-04-07T16:07:00.002+08:00

最近看了好几篇文章关于互联网中产品的力量。

很多网站刚开始是一个很突出很核心的需求的推动下去做出一个好产品的，在核心产品中不断推进，不断完善，之后再去做周边的。当然这也是比较理想的，但是现实中总会有差距。最现实的就是钱的问题（这里面会包含很多种情况，但是都是一个钱字），这个压力是最大的。在这个压力下，很多事情就会变，所以就不得不分出一些资源去做非核心产品。可能在最后完善核心产品时，公司已经不存在了。
在所有成功的互联网企业里我们都可以看到他们的核心产品是很强，很利害的。所以我们很所以地说产品好，才是真的好。在没有其它因素的时候，这真是王道！但是在通向成功的路上的时候，往往很多公司都是很做来钱快的，饮鸩止渴。但是他们在各自当然情况下往往是边际收益最大的形为。
但，产品的力量是最大的。

新医改摈弃市场化路线回归公益本性

2009-04-06T22:19:00.001+08:00

新医改摈弃市场化路线回归公益本性

以此为贺！

今日又结婚咯

2009-03-28T09:20:00.003+08:00

今天又结婚咯。

3月9 号在老家办过婚宴，3月28号在杭州再办一场。

From 吴志敏-魏佳俊

发现一个不错的首页自定义网站

2009-03-26T13:21:00.005+08:00

最近几年随着hao123的成功，这类网站一夜之间不知出了多少？！

但是，都是长着同一个样子的。

对于我来说，每次看到别人的电脑上首页是hao123，我都感觉很不爽，就只是因为它的样子太“土”了。对于我来说不喜欢。

而对于像我这样天天对着电脑的人来说，网址导航还真是需要，自己也会时不时地上一下hao123,或是265之类的网站。但是在这里要找到一些和自己比较相关的或是比较喜欢的网站是比较难的。

最近发现了一个可以自定义的小网站，感觉不错，www.h2w1.com，我也定制了一个kauu.h2w1.com，它的界面清爽，使用还是比较方便的。个人感觉比较实用。

linux中管道使用一例

2009-02-26T09:41:00.002+08:00

工作中以前经常有遇到这种情况。
例如：工作环境中的机器A可以访问机房B，也可以访问C，但是B和C之间是不通的。此时，经常会有把B中的文件转到C中的需求。

最平常的做法，就是A scp B:~/foobar ./foobar; 再 scp foobar C:~/。

如果文件很大，这样的做法会令人难以接受。如果不要让文件在工作机器A中存下来，而是直接发到C中，那就好了。

这时就要用到linux中的管道了。

ssh B_server "tar czf - foobar/*" | ssh C_server "tar xzf - -C ~/data/"

这样做就直接把B机器上的文件直接发到C机器了。

收集一下vim中删除的命令

2009-02-20T13:19:00.001+08:00

删除操作

:%s/r//g 删除DOS方式的回车^M
:%s= *$== 删除行尾空白

:%s/^(.*)n1/1$/ 删除重复行

:%s/^.{-}pdf/new.pdf/ 只是删除第一个pdf

:%s/// 又是删除多行注释（咦？为什么要说「又」呢？）

:g/s*^$/d 删除所有空行：这个好用有没有人用过还有其他的方法吗？
:g!/^dd/d 删除不含字符串'dd'的行
:v/^dd/d 同上（译释：v == g!，就是不匹配！）

:g/str1/,/str2/d 删除所有第一个含str1到第一个含str2之间的行

:v/./.,/./-1join 压缩空行
:g/^$/,/./-j 压缩空行

ndw 或 ndW 删除光标处开始及其后的 n-1 个字符。
d0 删至行首。
d$ 删至行尾。
ndd 删除当前行及其后 n-1 行。
x 或 X 删除一个字符。
Ctrl+u 删除输入方式下所输入的文本。
^R 恢复u的操作
J 把下一行合并到当前行尾
V 选择一行
^V 按下^V后即可进行矩形的选择了
aw 选择单词
iw 内部单词(无空格)
as 选择句子
is 选择句子(无空格)
ap 选择段落
ip 选择段落(无空格)
D 删除到行尾
x,y 删除与复制包含高亮区

dl 删除当前字符（与x命令功能相同）
d0 删除到某一行的开始位置
d^ 删除到某一行的第一个字符位置（不包括空格或TAB字符）
dw 删除到某个单词的结尾位置
d3w 删除到第三个单词的结尾位置
db 删除到某个单词的开始位置
dW 删除到某个以空格作为分隔符的单词的结尾位置
dB 删除到某个以空格作为分隔符的单词的开始位置
d7B 删除到前面7个以空格作为分隔符的单词的开始位置
d）删除到某个语句的结尾位置
d4）删除到第四个语句的结尾位置
d（删除到某个语句的开始位置
d）删除到某个段落的结尾位置
d{ 删除到某个段落的开始位置
d7{ 删除到当前段落起始位置之前的第7个段落位置
dd 删除当前行
d/text 删除从文本中出现“text”中所指定字样的位置，
一直向前直到下一个该字样所出现的位置（但不包括该字样）之间的内容
dfc 删除从文本中出现字符“c”的位置，一直向前直到下一个该字符所出现的位置（包括该字符）之间的内容
dtc 删除当前行直到下一个字符“c”所出现位置之间的内容
D 删除到某一行的结尾
d$ 删除到某一行的结尾
5dd 删除从当前行所开始的5行内容
dL 删除直到屏幕上最后一行的内容
dH 删除直到屏幕上第一行的内容
dG 删除直到工作缓存区结尾的内容
d1G 删除直到工作缓存区开始的内容

查看apache http 连接情况

2009-02-13T17:45:00.001+08:00

　　查看httpd进程数（即prefork模式下Apache能够处理的并发请求数）：
　　Linux命令：

引用

ps -ef | grep httpd | wc -l

　　返回结果示例：
　　1388
　　表示Apache能够处理1388个并发请求，这个值Apache可根据负载情况自动调整，我这组服务器中每台的峰值曾达到过2002。

　　查看Apache的并发请求数及其TCP连接状态：
　　Linux命令：

引用

netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

　　（这条语句是从新浪互动社区事业部技术总监王老大那儿获得的，非常不错）
　　返回结果示例：
　　LAST_ACK 5
　　SYN_RECV 30
　　ESTABLISHED 1597
　　FIN_WAIT1 51
　　FIN_WAIT2 504
　　TIME_WAIT 1057
　　其中的SYN_RECV表示正在等待处理的请求数；ESTABLISHED表示正常数据传输状态；TIME_WAIT表示处理完毕，等待超时结束的请求数。

　　关于TCP状态的变迁，可以从下图形象地看出：
　　　　
　　状态：描述
　　CLOSED：无连接是活动的或正在进行
　　LISTEN：服务器在等待进入呼叫
　　SYN_RECV：一个连接请求已经到达，等待确认
　　SYN_SENT：应用已经开始，打开一个连接
　　ESTABLISHED：正常数据传输状态
　　FIN_WAIT1：应用说它已经完成
　　FIN_WAIT2：另一边已同意释放
　　ITMED_WAIT：等待所有分组死掉
　　CLOSING：两边同时尝试关闭
　　TIME_WAIT：另一边已初始化一个释放
　　LAST_ACK：等待所有分组死掉

北京一游

2009-02-10T18:02:00.000+08:00

故宫

美丽老婆

2009-02-04T23:40:00.000+08:00

美丽老婆

要结婚了

2009-02-04T23:37:00.000+08:00

要结婚了
幸福中......

批量修改文件名

2009-02-04T11:32:00.001+08:00

for file in *.txt
do
mv $file ${file/%.txt/.xxx}
done

Python线程编程

2008-12-15T16:35:00.001+08:00

Python线程编程（一）线程对象

我们在做软件开发的时候很多要用到多线程技术。例如如果做一个下载软件象flashget就要用到、象在线视频工具realplayer也要用到因为要同时下载media stream还要播放。其实例子是很多的。
线程相对进程来说是"轻量级"的，操作系统用较少的资源创建和管理线程。程序中的线程在相同的内存空间中执行，并共享许多相同的资源。
在python中如何创建一个线程对象
如果你要创建一个线程对象，很简单，只要你的类继承threading.Thread，然后在__init__里首先调用threading.Thread的__init__方法即可

这才仅仅是个空线程，我可不是要他拉空车的，他可得给我干点实在活。很简单，重写类的run()方法即可，把你要在线程执行时做的事情都放到里面

以上代码我们让这个线程在执行之后每隔1秒输出一次信息到屏幕，10次后结束
getName()是threading.Thread类的一个方法，用来获得这个线程对象的name。还有一个方法setName()当然就是来设置这个线程对象的name的了。
如果要创建一个线程，首先就要先创建一个线程对象
mythread1 = mythread('mythread 1')
一个线程对象被创建后，他就处于"born"（诞生状态）
如何让这个线程对象开始运行呢?只要调用线程对象的start()方法即可
mythread1.start()
现在线程就处于"ready"状态或者也称为"runnable"状态。
奇怪吗？不是已经start了吗？为什么不称为"running"状态呢？其实是有原因的。因为我们的计算机一般是不具有真正并行处理能力的。我们所谓的多线程只是把时间分成片段，然后隔一个时间段就让一个线程执行一下，然后进入"sleeping "状态，然后唤醒另一个在"sleeping"的线程，如此循环runnable->sleeping->runnable... ，只是因为计算机执行速度很快，而时间片段间隔很小，我们感受不到，以为是同时进行的。所以说一个线程在start了之后只是处在了可以运行的状态，他什么时候运行还是由系统来进行调度的。
那一个线程什么时候会"dead"呢？一般来说当线程对象的run方法执行结束或者在执行中抛出异常的话，那么这个线程就会结束了。系统会自动对"dead"状态线程进行清理。
如果一个线程t1在执行的过程中需要等待另一个线程t2执行结束后才能运行的话那就可以在t1在调用t2的join()方法

这样t1在执行到t2.join()语句后就会等待t2结束后才会继续运行。
但是假如t1是个死循环的话那么等待就没有意义了，那怎么办呢？可以在调用t2的join()方法的时候给一个浮点数做超时参数，这样这个线程就不会等到花儿也谢了了。我等你10s，你不回来我还不允许我改嫁啊？
def t1(...):
...
t2.join(10)
...
如果一个进程的主线程运行完毕而子线程还在执行的话，那么进程就不会退出，直到所有子线程结束为止，如何让主线程结束的时候其他子线程也乖乖的跟老大撤退呢？那就要把那些不听话的人设置为听话的小弟，使用线程对象的setDaemon()方法，参数为bool型。True的话就代表你要听话，我老大（主线程）扯呼，你也要跟着撤，不能拖后腿。如果是False的话就不用那么听话了，老大允许你们将在外军命有所不受的。需要注意的是setDaemon()方法必须在线程对象没有调用start()方法之前调用，否则没效果。

当执行到 print 'main thread exit' 后，主线程就退出了，当然t1这个线程也跟着结束了。但是如果不使用t1线程对象的setDaemon()方法的话，即便主线程结束了，还要等待t1线程自己结束才能退出进程。isDaemon()是用来获得一个线程对象的Daemonflag状态的。
如何来获得与线程有关的信息呢？
获得当前正在运行的线程的引用
running = threading.currentThread()
获得当前所有活动对象（即run方法开始但是未终止的任何线程）的一个列表
threadlist = threading.enumerate()
获得这个列表的长度
threadcount = threading.activeCount()
查看一个线程对象的状态调用这个线程对象的isAlive()方法，返回1代表处于"runnable"状态且没有"dead"
threadflag = threading.isAlive()

Python线程编程（二）简单的线程同步

多个执行线程经常要共享数据，如果仅仅读取共享数据还好，但是如果多个线程要修改共享数据的话就可能出现无法预料的结果。
假如两个线程对象t1和t2都要对数值num=0进行增1运算，那么t1和t2都各对num修改10次的话，那么num最终的结果应该为20。但是如果当t1取得num的值时（假如此时num为0），系统把t1调度为"sleeping"状态，而此时t2转换为"running"状态，此时t2获得的num的值也为0，然后他把num+1的值1赋给num。系统又把t2转化为"sleeping"状态，t1为"running"状态，由于t1已经得到num值为0，所以他也把num+1的值赋给了num为1。本来是2次增1运行，结果却是num只增了1次。类似这样的情况在多线程同时执行的时候是有可能发生的。所以为了防止这类情况的出现就要使用线程同步机制。
最简单的同步机制就是"锁"
锁对象用threading.RLock类创建
mylock = threading.RLock()
如何使用锁来同步线程呢？线程可以使用锁的acquire() （获得）方法，这样锁就进入"locked"状态。每次只有一个线程可以获得锁。如果当另一个线程试图获得这个锁的时候，就会被系统变为"blocked"状态，直到那个拥有锁的线程调用锁的release() （释放）方法，这样锁就会进入"unlocked"状态。"blocked"状态的线程就会收到一个通知，并有权利获得锁。如果多个线程处于"blocked"状态，所有线程都会先解除"blocked"状态，然后系统选择一个线程来获得锁，其他的线程继续沉默（"blocked"）。

我们把修改共享数据的代码称为"临界区"，必须将所有"临界区"都封闭在同一锁对象的acquire()和release()方法调用之间。
锁只能提供最基本的同步级别。有时需要更复杂的线程同步，例如只在发生某些事件时才访问一个临界区（例如当某个数值改变时）。这就要使用"条件变量"。
条件变量用threading.Condition类创建
mycondition = threading.Condition()
条件变量是如何工作的呢？首先一个线程成功获得一个条件变量后，调用此条件变量的wait()方法会导致这个线程释放这个锁，并进入"blocked"状态，直到另一个线程调用同一个条件变量的notify()方法来唤醒那个进入"blocked"状态的线程。如果调用这个条件变量的notifyAll()方法的话就会唤醒所有的在等待的线程。
如果程序或者线程永远处于"blocked"状态的话，就会发生死锁。所以如果使用了锁、条件变量等同步机制的话，一定要注意仔细检查，防止死锁情况的发生。对于可能产生异常的临界区要使用异常处理机制中的finally子句来保证释放锁。等待一个条件变量的线程必须用notify()方法显式的唤醒，否则就永远沉默。保证每一个wait()方法调用都有一个相对应的notify()调用，当然也可以调用notifyAll()方法以防万一。

Python线程编程（三）同步队列

我们经常会采用生产者/消费者关系的两个线程来处理一个共享缓冲区的数据。例如一个生产者线程接受用户数据放入一个共享缓冲区里，等待一个消费者线程对数据取出处理。但是如果缓冲区的太小而生产者和消费者两个异步线程的速度不同时，容易出现一个线程等待另一个情况。为了尽可能的缩短共享资源并以相同速度工作的各线程的等待时间，我们可以使用一个"队列"来提供额外的缓冲区。创建一个"队列"对象

import Queue
myqueue = Queue.Queue(maxsize = 10)

Queue.Queue类即是一个队列的同步实现。队列长度可为无限或者有限。可通过Queue的构造函数的可选参数maxsize来设定队列长度。如果maxsize小于1就表示队列长度无限。

将一个值放入队列中

myqueue.put(10)

调用队列对象的put()方法在队尾插入一个项目。put()有两个参数，第一个item为必需的，为插入项目的值；第二个block为可选参数，默认为1。如果队列当前为空且block为1，put()方法就使调用线程暂停,直到空出一个数据单元。如果block为0，put方法将引发Full异常。

将一个值从队列中取出

myqueue.get()

调用队列对象的get()方法从队头删除并返回一个项目。可选参数为block，默认为1。如果队列为空且block为1，get()就使调用线程暂停，直至有项目可用。如果block为0，队列将引发Empty异常。

我们用一个例子来展示如何使用Queue

示例代码中实现了两个类：生产者类Producer和消费者类Consumer。前者在一个随机的时间内放入一个值到队列queue中然后显示出来，后者在一定随机的时间内从队列queue中取出一个值并显示出来。

一天怎么过？

2008-11-27T11:43:00.001+08:00

身体是革命的本钱，只有身体好，才能工作、学习好！而身体好的基本前提就是要休息好，那么一份好的作息时间表是比较重要的了。下面不知是何人所为，将各个机构的研究成果统一起来，把一天的时间划分开来，形成了一份据说是最优的作息时间表，甚至在什么时间脱下外套里面都安排好了，对身体的关怀可谓是"无微不至"！您说，这样身体能不给面子吗？

7：30　起床喝一杯水
　　威斯敏斯特大学的研究人员发现，不管何时上床睡觉，在第二天早上5时22分至7时21分起床的人血液中的应激激素皮质醇含量最高，而皮质醇使人更易诱发心脏病发作，因此，在早上7时21分之后起床对健康有保护作用。
　　人体内进行的种种化学作用和活动都需要水，缺水会引起头痛、皮肤干燥和眼睛疼痛。晨起喝水会有效地缓解夜间身体的缺水症状。

7：30－8：00　早餐前刷牙
　　这样能使牙齿在早餐时能被氟化物有效地保护起来，预防蛀牙的发生。要不，就在早餐后半小时再刷牙。

8：00－8：30　吃早餐使用防晒产品
　　"千万别不吃早餐，它对平衡人体内的血糖水平十分必需。"伦敦国王大学自然科学专家、营养学家凯文・威兰博士建议说。试一下燕麦粥，其甘油指数较低，这意味着它会缓慢释放能量，让你在较长时间段内不易有饥饿感。
　　"即使在多云或较冷的天气下，皮肤也有可能被紫外线所伤。"英国皮肤科医生协会主席科林・霍尔登博士表示，"紫外线会诱发皮肤癌，使用SPF值15或以上的防晒产品会对皮肤产生有效的保护作用。"

8：30－9：00　不要进行体育锻炼
　　英国米德尔塞克斯郡布伦尼尔大学的研究人员发现，每天早间进行训练的运动员更易传染得病，这是因为人体内的免疫系统在这一时段最为薄弱。

9：00－9：30　脱下外套
　　过紧的着装会使人姿势扭曲，从而引发背痛。这是英国骨科委员会执行主席罗宾・谢泼德的意见。

9：30　开工
　　纽约失眠治疗中心的研究人员发现，大多数人的思维都是在醒后一到两个小时最为敏捷，这时就着手处理最费心智的工作和事情。

10：30　离开电脑休息
　　如果你在工作中整日使用电脑，那么应至少在每个小时给眼睛三分钟的休息时间，这样才能更好地保护眼睛的内部结构和周遭肌肉。
　　当我们对着电脑屏幕阅读时，眼睛的聚焦系统就会锁定此处，由此会引发此块肌肉，进而引起视觉疲劳。"我们不时眨眼睛会让眼睛保持湿润，但当人集中精力看电脑屏幕时，几乎不怎么眨眼，这当然会引起眼睛干燥疲劳。"他说。

11：00　吃点水果
　　这是满足上午工作中热量需求的最佳方法，最好是每天都能吃点深绿色蔬菜，比如菠菜或红色水果。蔬菜中的铁含量是水果中维生素C含量的四倍之多。

13：00　吃些烘烤的豆制品
　　这时我们需要吃午餐来一饱饥腹，并为下午的活动提供缓释能量。威兰博士表示："烘烤的豆类纤维含量极其丰富，而西红柿酱则能将水果和蔬菜的功效合二为一。"

嚼点无糖口香糖
　　这会促进唾液分泌，而唾液中含有的矿物质能有效保护牙釉质，从而使人即使吃些甜的或酸的食物也不会长蛀牙。古苏格兰格拉斯哥大学的研究人员发现，嚼口香糖还能抑制食欲，那些含木糖醇的口香糖还有减少有害细菌侵蚀牙齿的机会。

14：30－15：30　来个小盹
　　人体生物钟此时需要来个小小的缓冲。雅典大学的研究人员发现，每周至少睡三次午觉，每次睡30分钟或者更多的人，其罹患心脏疾病的几率比其他人低37%。

16：00　来罐酸奶
　　这会稳定人体内的血糖值，并缓和紧张工作之后的疲劳。原味酸奶能有效地平衡人体肠道内的菌群水平。

17：00－19：00　到健身房锻炼一下
　　根据人体生物钟的规律，此时是运动和锻炼的最佳时段。此时，尤其适合游泳，游上20分钟会燃烧240卡路里的热量，同时全身肌肉也进行了一次有氧锻炼。

19：00　喝点小酒放松一下
　　伦敦大学的研究人员发现，那些每天少量规律饮酒者与禁酒者相比，思维明显更加敏锐，其原因可能是酒精会增加脑部的血流量从而改善人的思维能力。

19：30　来顿小小的晚餐
　　晚餐中若碳水化合物含量丰富，会引起人体内血糖值升高，使消化系统处于超负荷运转状态，从而影响睡眠。
　　更好的晚餐选择应是丰盛的蔬菜，加上少量的碳水化合物和蛋白质，进餐时要细嚼慢咽。他说："人的大脑要等到15分钟之后才能觉察到已经吃饱了，所以狼吞虎咽的结果只能是大大地吃多了。"

21：45　关掉电视
　　这样做是为避免大脑被过度刺激从而影响睡眠。同样的原因，也不能在床上看电视。

23：00　洗个热水澡
　　洛夫堡大学睡眠研究中心的吉姆・霍恩教授建议："如果想睡得香，就得适当降低体温。当洗个热水澡之后，人体自身的体温很快就会有所下降。"

23：30　上床睡觉
　　如果你在第二天早上七点半起床的话，此时上床会保证你有八小时的充足睡眠。尽管对成年人每天需要睡多长时间尚无定论，但霍恩教授指出，平均来说，成年男性每天应睡足七小时左右，而女性则应睡足七小时二十分钟。...

危机中的几点建议--早报网

2008-11-27T11:40:00.001+08:00

来自早报网。

今年毕业生找工作

2008-11-26T21:02:00.001+08:00

看到央视新闻频道的报导，今年大学生的就业情况真是不容乐观。想想当初自己就业时的情况，也听了其中嘉宾的建议。觉得其中几条还是比较中肯的。
求职时听很多大学生的都说自己在哪个大学，有什么证，考了多少分，身高多少等等。我不是HR，但我感觉这样的问答其中的价值不大。有嘉宾说这和十年前他们是一样的，这个不知说明什么，看来知识水平最时尚的人（大学生）还是停留在过去。
在职场中也有些时间，感觉到商业中最大的几点认识：

以结果为导向，这点说的是执行力第一。
客户价值，最简单的说，应聘和招聘就是一个交易，所以在这个交易中你可以为你的客户提供什么？
商业人格，商业中，最好的结果是双赢，这也是中国商业的核心--和为贵。

27个在学校学到不到的能力

2008-10-28T10:47:00.001+08:00

原文作者：zen habits
原文链接：27 Skills Your Child Needs to Know That She's Not Getting In Sch
翻译：Shirley.xulin

总的来说，我们都知道学校不能教给我们的孩子一些基本的读书，写作，算术和科学技能，这些技能是我们在即将出现的新一代高科技劳动力（至少，这是一个普遍的看法，我们不需要在这里争论）中具有竞争力的保证。

但是生活中我们需要远比那些基础学科更多的知识，你的孩子根本没有学会生活中需要的那些至关重要的知识，除非有一位独特的老师，他愿意去打破这种模式。

回顾你的切身经验，当你高中毕业时，你了解生活中的所需知识么？更不用说如何取得成功了。幸运的话，你也许知道如何阅读，并且有一些基本的历史和数学技能，甚至你还可能拥有良好的学习习惯，这将使你在大学中受益。
但是，你真的准备好进入现实生活了么？也许未必，除非你的父母已经为你准备好一切。事实上，我们大部分人的早期成年生活都是一团糟，因为我们不了解所需的技能，而我们正在承受相应的后果。
你也许会说，这是生活的一部分――从经验教训中学习。但仍可能在你的孩子独立生活之前，让他准备得充分一些。如果我们无法让学校教授那些技能，就让我们自己来负责吧。
以下是一张基本课程表，孩子在迈入成年生活之前都应该掌握它。也许你认为还有其他技能需要加入其中，但至少这是一个起步要求。
如何教导这些事情：这些课程无法通过讲课和课本来掌握，只能通过实例、言传身教来教导，并且要允许小孩独自去尝试（刚刚开始可以在监督下进行）。一旦你进行言传身教，并且监督他们尝试几次后，就应该给予你的孩子信任，让他自己去完成，从自身的错误中学习；另外要不时和你的孩子讨论他的学习成果。
财务
储蓄：量入为出是一句简朴的格言，然而只有极少数的青年人理解并知道如何遵循它。从小就让孩子将他的一部分零花钱存入银行，教导他如何设定储蓄目标，如何达成该目标，然后便可购买他想要的物品。

预算：许多成年人害怕做预算，并为此饱受折磨，这是因为我们缺乏做预算所需的知识和技能。教导孩子简单的预算技能，以及相关的知识，让他们成年后不在面临预算的烦恼。你可以等到孩子十几岁再教他们这些知识，这是一个很好的机会来展示为什么他们需要了解数学基础知识。

支付：让孩子们支付账单，并确保他们按时支付，不论是在线支付还是实地完成。让他们学习如何写支票，包括纸张支票和在线支票；确保不会延误账单――可以通过马上支付或者自动支付来完成。

投资：什么是投资，为什么必须进行投资？你是如何进行投资的，有哪些不同的投资手段？你是如何研究投资项目？复利如何发挥时间威力。这些都是和你孩子交谈的极佳话题。

节省：这是从小就应该教会他们的事情。如何去货比三家，比较不同的价格和质量，对物品重复利用、减少浪费，在家煮食而不过多在外就餐，控制购物冲动。当我们外出疯狂购物，即便是圣诞节前，也会为孩子树立了一个坏榜样。

债务：许多成年人都面临债务问题。要教导孩子借贷的责任，如何避免不必要的债务，如何避免过多举债，如何可靠地使用信用卡。

退休：努力工作到退休年龄，还是"迷你退休"（即工作一段时间，享受一段时间），哪种更好？这是见仁见智的问题，但是你的孩子应该知晓有这些选择，它们的利弊所在，以及如何具体实施。告诉你的孩子年轻时候就开始投资的重要性，复利所带来的巨大差别，以及如何让投资自动化。

慈善：告诉孩子从事慈善的重要性，以及如何养成做慈善的习惯。这不仅仅是一个财务问题，也是一种社会活动。你应示范如何将时间与精力投入到慈善活动中。

思考
批判性思维：这是学校没有教导的最重要的技能之一。目前，我们被驯化成机器人，听从老师而不做提问，听从教导而不动脑筋，成为不敢有异议的老实员工。如果你是一位雇主，也许你会喜欢这样的员工；如果你是一名政客，你也许希望你的市民就是如此。但是你希望自己的孩子成为这样的人么――不问是非，幼稚无知的市民/雇员/学生？如果不是的话，马上开始培养他们提出"为什么"的习惯，学习如何找寻答案，如何去质疑权威――没有放之四海而皆准的永恒答案。对话是学习这种技能的良好途径。

阅读：当然，学校有教导我们进行阅读，但学校的教育方式往往让人厌倦阅读。带着你的孩子游览书中那天马行空的想象世界，指导他们通过互联网找到相应的信息，以及如何评价阅读材料的可信度、逻辑性和真实性。

成功
积极：上面提到批判性思维是一项重要的技能，而对生活有着积极的态度也是相当重要的。当然，事情可能会变得很糟，但是塞翁失马焉知非福，所以应该停止抱怨，寻求解决方案，最重要的是，要坚信自我，摆脱负面思维。

动力：要知道达到目标的关键不是纪律，而是动力。如何采用不同的方式激励自己，并体验完成目标的喜悦心情。一开始，先设定一些较小的，容易达到的目标，从而逐渐锻炼这种技巧。

拖拉：这是成年人的常见毛病（甚至小孩也如此）。我同意在某些时候，人们应当悠游度日，享受慵懒的时光。但是，当我们必须做某些事情的时候，怎么保证我们能够按时完成呢？教导孩子要吸取拖拉的教训，找出他们拖拉的习惯，并且研究如何克服它。

激情：成功的一个重要途径，就是找到使你激情洋溢的事物，并全情投入。你的孩子还无法在年幼时找到这个答案，但是你应该指导他们发现自己的激情所在并且对其不懈追求，让他们了解这样做的重要性。

社交
合作：从小，我们就被灌输竞争主义，这也是成人世界的写照。结果呢，卑鄙陷害、互相拆台、忿恨抱怨充满了我们的生活。相反，请教导你的孩子，人们是可以达到共赢的，帮助他人成功，将使你自己更加成功。告诉孩子结交朋友胜于制造敌人，在竞争之前先学会团队合作。

同情：这是被学校完全忽略的主题。事实上，孩子在学校学到的往往不是同情并帮助他人，而是增加别人的难处。应该教导孩子设身处地地了解别人，并去帮助别人摆脱痛楚。

爱心：爱心和同情是双胞胎，同情着重于减轻别人的痛楚，而爱心则是希望他人幸福。这两者都是至关重要的。

倾听：我们的孩子在学校学习到如何倾听了么？或者如何与人交谈么？也许这就是为什么许多成年人都不具备倾听这个重要能力的原因。要孩子学会如何真正地倾听他人，从而能够理解和感觉他人。

交谈：交谈与倾听是紧密关联的，而学校并没有教导孩子交谈的艺术。事实上，学校告诉孩子在大部分情况下交谈是不对的，然而我们往往需要的是互相交谈，而不是教导。这是非常重要的社交技巧，从小就应该在家里实践。请学会与你的孩子交谈，而不是只要他听话。

实务
汽车：告诉孩子为什么我们需要汽车（并不是为了耍酷），如何买到合适的汽车，如何保养汽车。了解发动机的工作原理，哪些地方会发生损坏，又该如何修理。这是男孩女孩都应该学习的技能（这是显而易见的，但我还是要强调）。
家务：如何保养和维修房屋的各种物件，包括管道、电器、冷暖设备、油漆、盖屋顶、剪草等等。掌握进行基础维护的工作和方法，并且知道什么时候该叫专家来帮忙。

清洁：太多的成年人没有学会如何送洗衣物，如何清洁房间，如何使房子井井有条，如何进行每周、每月的大扫除。不要只是让孩子做这做那，而要他们真的学会这些事情。

组织：让孩子学会如何摆放文件，如何让事物各就各位，如何建立待办事宜，如何建立工作流程，以及如何集中精力在重要工作上。

快乐
着眼现在：基于某些原因，我们小时候从未学到这个重要的技能。事实上，我们越年轻，就越能享受现在。当我们慢慢长大，开始担心将来，回顾过去，而"现在"则离我们而去。"活在现在"的技巧对我们是大有帮助的。
享受生活：孩子们都在享受生活，但只有一部分意识到这个技能的重要性，并且应该如何进行。即使对于成年人，享受生活的技能依然大有益处，为你的孩子做好榜样，他们自然会模仿你的。

寻找目标：拥有一个目标对于生活而是是极为重要的，无论是崇高的宗教目标，或者是为了让家庭幸福，又或者是你的职业目标。让孩子认识到目标的重要性，并且如何为自己找到目标。

发展亲密关系：教导这个技能的最佳方式，就是和你的孩子建立亲密关系，并且以你和配偶（或其他适当的人）为范例。教会他们发展这种关系的技能，讨论它的重要性，并且学习如何克服冲突。生活中总会出现不和，但是通过交流、理解和妥协，我们就能言归于好。

值得一读

2008-10-27T14:02:00.001+08:00

★ 新闻对联

将新闻事件写成对联，以短信方式传播分享，并非首次，但本周所收两则"新闻对联"紧扣时事，态度内敛，鲜明，确切，殊为别致：一则来自电视人陈TV陈老师，为同题新闻对联中最优者。联云：

上联：上半年一人杀六警
下联：下半年六警杀一人
横批：非常6+1

另一则由作家宋石男老师原创。联云：

上联：两个主持挂职
下联：一对区长外逃
横批：幸运都是二

★ 你们怎么还不黑我啊？

语出本周网络流行笑话，版本繁多，下为其中之一：

这个虚拟笑话将微软"黑屏行动"娱乐化八卦化。它跟你我日常生活的麦当劳化不同的是，那些为你我提供八卦化思维乐趣的网友们分文不取，甘当娱乐志愿者。

★ 眼下连银行家和经理都在读《资本论》

语出德国一家大型出版社负责人。金融危机不断蔓延让德国人重新认识到资本主义经济制度的弊端，马克思的名著《资本论》因此再次成为书店畅销书。当地最新民调数据表明，原东德地区52%的居民认为自由市场经济并不合适，43%的人希望实行社会主义制度。

一些平时没有想通的问题

2008-10-27T11:02:00.001+08:00

01、鱼会口渴吗？
　　原来鱼是会口渴的，只不过它们饮水的方法和人类有所不同。德国不来梅阿尔弗雷德维格纳研究所指出，由于鱼有分咸淡两种，而两种鱼饮水的方法都有不同，咸水鱼用吞水的方法得到水分，淡水鱼则经由食物和鱼鳃得到水分。

02、为什么洗衣机有个透明圆窗，干衣机却没有呢？
　　1920 年代，欧洲人制造了最初的滚筒式洗衣机，但当时一般市民还未完全信赖新的科技，不放心将袜子和内裤等放进洗衣机。米勒家电是第一家出售商业洗衣机的公司，发言人指出 1920 年代上市的第一批洗衣机之所以有个圆窗，是因为到洗衣店洗衣服的朋友都希望可以看见洗衣机中的动静，那时根本无人想过洗衣机可以出现于家庭中，当时一般家庭只以木桶和木棍洗衫，踏入50年代，当洗衣机普及化后，这种透明圆窗设计便被淘汰，干衣机没有透明圆窗最主要原因，就是现代人早已知道这些机器是不会损坏里头的物品，不用边干边看，这么浪费时间！

03 、手语是否世界通行？
　　中国人讲国语，英国人讲英文，中国人的手语和英国人的手语有没分别？聋哑中国人用中国手语可不可以和英国聋哑人士沟通呢？德国汉堡大学手语系教授表示，聋哑人士在地球多久，手语便存在多久，手语是一代接一代地发展出来的，与所有的自然语言一样，手语也根据其地理位置的分布而有不同变化，就像世界上也没有一种完全通行的有声语言一样。例如在德国「红色」的手语表达是多次触碰下嘴唇，和国际间惯用的表达不同。

04、为什么多士跌落地时，总是涂奶油的哪面先着地？
　　美国密西西比州哥伦布女子大学的专家做了实验，发现从桌子边缘掉落的多士，有百分之七十八是涂奶油的那一面先着地，原因是基于简单的物理定律。当士从桌缘翻落的一刹那，一部分重心已经掉落桌外，于是这片多士处于旋转的状态中，因此不是垂直落地，而是翻转落下。奶油面先着地的关键在于通常多士翻转的速度不够快，无法完成一个完整的空中翻滚，不像跳水运动员可以向外翻腾九周半，要多士完成整个翻滚动作，不弄肮脏地毯，方法好简单，只要大家在三米高的餐桌食多士便可以。

05、地球上六十亿人一齐大叫，声音会不会传到月球呢？
　　地球人口约有六十亿五千五百万人，假如全世界人聚集在澳洲平原一齐向着月亮大叫，嫦娥会不会听到呢？如果所有人一齐叫的话，巨大的声响会令大地摇动，全部人的耳膜都可能会破掉，亦有人会被嘈死。但无论大家怎么叫，都不会传到月球，即使用超高性能的米高峰都一样，原因是地球和月球中间是没有大气，而声音必须在气体或液体等物质中传输，在真空的状态则是无法传输的，叫声所能达到的地方只限于大气层的内质，高度充其量只能传到七百公尺而已！

06、遇到交通意外，跳车逃生时，应该向前跳还是向后跳比较安全呢？
　　遇到这么紧急的情况，生死攸关，千万不能做错决定，假如你决定朝车子行驶的方向跳出去的话，你必死无疑，因为离开车子的身体会遵守"惯性法则"随着车子的速度向前，身体会加速，然后狠狠的摔在地上，如果向后方跳的话，速度会相对抵消，着地时会减少一些撞击力道。此外，向前跳的话，着地的时候，身体会向后仰，后脑撞到的危机性较大，死亡率亦较高。

07、两个人一上一下抬东西上楼梯，哪一个人会较轻松？
　　大家一定以为是在上方的人较辛苦，前面出尽力提着东西，后面的只是支撑着，当然轻松得多。但根据万有引力，行李的重量不是全压在后者吗？究竟答案是什么呢？以力学而言，行李在两个人正中间的话，即使是在像楼梯这种倾斜的地方仍然是刚好平均分摊，并不会有哪一方比较轻松和比较累的，重与轻只是心理作用而已！

08、为什么丧服是黑色的呢？
　　中国人死人用白色，但欧美以至日本丧服都是黑色，为什么死人要穿黑色衣服呢？古人认为参加丧礼时，丧礼上会出现死者的灵魂，穿着鲜色衣服的话，容易被死者灵魂见到，然后惨被加害。穿黑色衣服的话，就不容易被死者的灵魂发现。身穿黑色丧服原来并不是为了哀悼死者，只是恐惧死者，不过大家敢不敢穿的大红大绿去殡仪馆呢？

09、医生看病时为什么要看病人的舌头？
　　利用舌头的状态来诊断的方法称为"舌诊"，源出于中医。健康的舌头是淡红色，拥有适度的润泽，舌头整体能够轻柔被压动，发烧的时候，舌头的湿气就会流失而龟裂，病情恶化的话，颜色还会变白，肠胃不好的时候，水分的代谢功能也会减弱，白色舌苔会增加而覆盖整个舌头，西医看舌头主要用作参考，而中医则作确定病情之用。

10、冷水和热水，那一种水在灭火时比较有用呢？
　　着火了，用冷水还是热水救火好呢？不用多说，火当然很热，用冷水浇的话可以降低火的温度，但假使要尽早灭火的话，最好使用热水。冷水和热水比较，热水较能在短时间产生水蒸气，把火源覆盖，火源得不到氧气，便不会继续燃烧，但在实际火灾现场，又怎会有热水呢？

11、麻将中的"东南西北"为什么和实际方位相反呢？
　　打麻将四只脚，按东南西北顺序逆时针方向坐，和实际的方位完全相反，究竟是什么原因呢？原来东南西北其实只是代表一、二、三、四和方位是无关的，加上中国人大部分是使用右手拿牌，所以将"东南西北"变成逆时针方向，纯粹为了方便而已，根本没有什么值得考究的地方！

12、在百货公司搭扶手电梯快还是乘电梯快？
　　相信这个问题大家都曾想过，以速度本身来说，电梯是比较快的，但需要加上等待的时间，所以根据日本作家堀井宪一郎的调查发现，不同楼层是有不同的结果，若从一楼到六楼的话，电扶手梯是比较快的，因为无需等候，七楼到九楼的话，碰上电梯到达及时或电梯没有人，胜负是五十五十。十楼以上的话，电梯较快，比率高达百分之七十五。

13、为什么喝酒时，小便的时候会比较长呢？
　　当喝醉酒的时候，小便的时间变长，不少人以为酒精有利尿作用，但这观点是错的，由于酒精作用使我们对膀胱的感觉能力变得迟钝，一般而言，膀胱到达200cc时，就会想去厕所，但当喝醉酒时，膀胱达到最大极限，还感觉不到尿意，大人的膀胱容量约为400-500cc，所以，当喝醉酒想去厕所时，尿量一定是平日的两倍，所以上厕所的时间也因而变长。

14、为什么肯德基家乡鸡爷爷永远都穿白色衣服？
　　肯德基爷爷人像是由肯德基的始创者桑德斯上校的模样制造出来的，为什么一年四季桑德斯都不换衣服呢？难道他没有钱买衣服？桑德斯上校是个非常有地位的人，有一天电视台要求他上节目做嘉宾，那时刚好是冬天，由于桑德斯上校没有烫好冬天西装，唯有穿夏天的白色西装，观众以为桑德斯平时天寒地冻都穿着这么薄的衣服，觉得非常有型，因而大受欢迎，从此以后，白色西装便成为桑德斯上校的商标！

15、去舞会经常见到名人撞衫，究竟世界上有多少人拥有相同的衣服呢？
　　遇见和自己穿相同衣服的人，感到非常的尴尬，对方穿得比自己好看，就更加不高兴，高级时装，因为数生产量不多，即使是同样的设计、颜色的衣服，一般大约生产一百五十件左右，同年龄层同性别同收入的人口全球约为一千万，穿着同样衣服的人，比例大约是六万分之一，当然穿大规模生产的Tee，那撞衫的机会自然会大得多。

16、为什么心脏不会生癌？
　　胃、肝、大肠、睾丸都会生癌，但为什么没听过有心脏癌呢？原因在于心脏以外的细胞都具有增殖机能，即使受了伤，只要过一段时间就能痊愈，这是因为细胞增殖使伤口愈合，然而心脏的细胞并不会增殖。癌细胞会持续增殖，接着破坏周围的组织，就是因为心脏细胞不会增殖的关系，所以癌细胞是无法侵袭心脏。

17、鼻水其实积存在哪里呢？
　　只要一感冒、鼻敏感，鼻水就不停流出，大量的鼻水积存在身体的哪个部分呢？鼻水其实并不是积存在身体里，一般而言鼻腺跟细胞会经常提供补充水给鼻孔表面的黏膜，但只要一感冒，免疫血球蛋白跟化学物质就会跟水分混杂，将进入鼻孔的异物跟细菌都洗出来，鼻腺跟细胞也会一直分泌水分，因此就算我们不断的擤鼻子，鼻水都会一直流出来。

18、烫伤后的水泡究竟是什么？
　　烫伤之后，必然会出现水泡，破掉之后更会流出液体来，为什么无缘无故皮肤会出现液体呢？烫伤是因为高热而使皮肤和细胞呈现发炎状态，细胞被破坏、体液渗透进皮肤，皮肤外侧由表皮所覆盖，表皮之下为真皮，当体液停留在表皮和真皮中间时，便会起水泡。水泡里的水，正确来说是细胞被破坏后所流出的体液，包括血浆、淋巴、组织，加上蛋白质、脂肪、无机盐、氨基酸等等合成的液体。

19、卡拉OK 第一首歌曲是哪一首呢？
　　卡拉OK 是日本语「空的管弦乐」的缩写，本身是个音乐界的用语。以前日本有不少地方流浪演唱歌手，在没有伴奏的地方演唱时，会播音乐带伴唱代替伴奏，那就是所谓的卡拉OK，将卡拉OK商业化的人叫井上大佑，1971 年他将自己演奏的卡拉OK录音带和播放用的机器，租借给神户的小酒馆，第一首卡拉OK乐曲是永井Frank的"羽田出发七点五十分"，不少喜欢唱歌的朋友都到了神户的小酒馆大展身手，于是卡拉OK文化便因此而蔓延全球。

20、猴子有没有同性恋？
　　不要以为只有人类才有同性恋，其实猴子的世界里也有同性恋，不少猴子会有亲昵的行为，互相摩擦性器官，直至产生高潮为止，不过人类的同性恋是有感情存在，但猴子的同性恋就完全没有感情因素，因为猴子的脑容量只是人类五分之一，无法思考同性之间复杂的感情，同性恋也只是为了寻求快感，单纯享受爱抚和性行为而已！

用最简洁生动的方法讲解了次贷危机和A股股民

2008-10-22T21:55:00.001+08:00

在网上看到一个帖子，作者不详。用最简洁生动的方法讲解了次贷危机和A股股民：

有一天，一位其貌不扬的男士，带着一位十分艳丽的OL，来到Causeway Bay一家LV店。他为OL选了一价值6万5元的LV handbag。
　　
付款时，男士掏出支票本，十分潇洒地签了一张支票。店员有些为难，因为这对夫妇是第一次来店购物。
　　
男士看穿了店员的心思，十分冷静地对店员说： "我感觉到，您担心这是一张是空头支票，对吗？今天是周六，银行关门。我建议您把支票和handbag都留下。等到星期一支票兑现之后，再请你们把 handbag 送到这位小姐的府上。您看这样行不行？"
　　
店员放了下心来，欣然地接受了这个建议，并且大方的承诺，递送handbag的费用由该店承担，他本人将会亲自把这件事情给办妥。
　　
星期一，店员拿着支票去银行入账，支票果真是张空头支票！愤怒的店员打电话给那位顾客，客户对他说： "这没有什么要紧啊！你和我都没有损失。上星期六的晚上我已经同那个女孩上床了！哦，多谢您的合作。"

这个故事揭示了次贷危机的本质。人们在对未来收益充满良好预期的时候，对于可能加大风险缺乏防范意识。美女认为周一六万多LV就到家了，自然也就放松了警惕，认为ONS的投资是值得的，对于投入产出的预期是建立在一个具有巨大不确定风险的情况下的。而对未来收益预期的包装则是这些投资机构最擅长的事情。中国的股民大多跟这个美女一样，所以亏钱基本上是活该，没有这些人，股市赚谁的钱呢。而媒体和分析家们，往往在其中扮演了LV店员的配合角色。

OL：Office Lady：白领丽人
Causeway Bay：香港铜锣湾
ONS=419=One night standing：一夜情

中央武院

2008-10-22T17:56:00.003+08:00

用平面表示立体

用加法实现减法

2008-10-22T17:30:00.000+08:00

http://groups.google.com/group/pongba/browse_thread/thread/a5abc11899e04006?pli=1

一个计算机系统包含以下原子操作：
1. 赋值
2. +1
3. 循环（确定次数的循环）
4. 只处理正整数和 0
5. 运算不会溢出
请在该系统上实现减法

Dingding <hank.d...@gmail.com>的一个思路，供大家讨论。

首先实现自减一操作：
tmp = 0
result = 0
loop(n) {
result = tmp
tmp++

}

循环执行后result == n - 1

然后利用该操作作为原语实现任意数的减法操作（假定a>b）：
result = a
loop(b) {
dec(result)

}

循环执行后 result == a - b

linux系统查看命令

2008-10-22T14:37:00.001+08:00

系统

# uname -a               # 查看内核/操作系统/CPU信息
# head -n 1 /etc/issue   # 查看操作系统版本
# cat /proc/cpuinfo      # 查看CPU信息
# hostname               # 查看计算机名
# lspci -tv              # 列出所有PCI设备
# lsusb -tv              # 列出所有USB设备
 # lsmod                  # 列出加载的内核模块
# env                    # 查看环境变量

资源

# free -m                # 查看内存使用量和交换区使用量
# df -h                  # 查看各分区使用情况
# du -sh <目录名>        # 查看指定目录的大小
# grep MemTotal /proc/meminfo   # 查看内存总量
# grep MemFree /proc/meminfo    # 查看空闲内存量
 # uptime                 # 查看系统运行时间、用户数、负载
# cat /proc/loadavg      # 查看系统负载

磁盘和分区

# mount | column -t      # 查看挂接的分区状态
# fdisk -l               # 查看所有分区
# swapon -s              # 查看所有交换分区
# hdparm -i /dev/hda     # 查看磁盘参数(仅适用于IDE设备)
# dmesg | grep IDE       # 查看启动时IDE设备检测状况

网络

# ifconfig               # 查看所有网络接口的属性
# iptables -L            # 查看防火墙设置
# route -n               # 查看路由表
# netstat -lntp          # 查看所有监听端口
# netstat -antp          # 查看所有已经建立的连接
# netstat -s             # 查看网络统计信息

进程

# ps -ef                 # 查看所有进程
# top                    # 实时显示进程状态

用户

# w                      # 查看活动用户
# id <用户名>            # 查看指定用户信息
# last                   # 查看用户登录日志
# cut -d: -f1 /etc/passwd   # 查看系统所有用户
# cut -d: -f1 /etc/group    # 查看系统所有组
# crontab -l             # 查看当前用户的计划任务

服务

# chkconfig --list       # 列出所有系统服务
# chkconfig --list | grep on    # 列出所有启动的系统服务

程序

# rpm -qa                # 查看所有安装的软件包

8种互联网动物

2008-10-22T10:01:00.001+08:00

8种用于互联网的动物！

外国人都喜欢这样干！！插有意思。

Bango -移动分析公司，鳐鱼分很多种类，有的有毒，有的放电，它们都属于鲨鱼科，非常危险。 I've got no idea where this mobile analytics company got their name from, but Bango Fish is sometimes used as another name for rays, so I've decided to include the name here. Rays come in several varieties, some of them poisonous, some electric; they're related to sharks, and as we all probably remember, they can be quite dangerous. I'm not sure which exact species can be addressed

by the name "Bango," so I'd be grateful if someone could shed some light on this.

Mozilla的手机浏览器！还是狐狸！是一只更小的狐狸！

Fennec - unlike the Firefox, the Fennec Fox is actually a fox. The folks at Mozilla probably named their mobile browser after the Fennec because the animal is quite small for a fox, weighing up to 1.5 kg with a body length of up to 40 cm. What it lacks in general size, it makes up in ear size, which can grow up to 15 cm in length. It lives in the Sahara Desert of North Africa, feeds on rodents, insects, birds, eggs, and probably doesn't care much about mobile browsing.

Firefox ，这个就不用多说，大家都认识，这其实是生活于中国四川地区的一种小帽熊，浣熊科。- contrary to the popular belief, Firefox is not just a very cool fox or a fox on fire; it's a distinct animal species that actually looks quite similar to the one on the popular Web browser's logo. Its name is Red Panda, it's a herbivorous mammal that feeds on bamboo, and lives only in the Himalayas in Bhutan, southern China, India, Laos, Nepal, and Burma. If you ever see one, please don't try to spin it into the Firefox logo position for photographing; it won't like it and will probably bite you.

Myna, Aviary 公司设计的音频编辑软件Aviary's audio editor is - like all Aviary's products - named after a bird. The mynas are birds of the starling family (Sturnidae), a group of birds which occur naturally only in southern and eastern Asia. They prefer the open country, eat insects and fruit, and some of them are quite good at imitating sounds.

Songbird -基于 Firefox 的媒体播放器，Songbird 也以鸟命名，属于孔雀类，它的发声器官可以发出各种音调。名字和产品很和谐 the Firefox-based media player, Songbird is also named after an animal. Although neither Songbird's old nor new logo look much like it. Songbird or oscine is "a bird belonging to the suborder Passeri, in which the vocal organ is developed in such a way as to produce various sound notes, commonly known as bird song." There are many species of songbirds; interestingly enough, crows - which produce rather unpleasant sounds, at least to the human ear - are one of them.

Tern - Aviary 即将推出的地形图生成工具软件。Tern 是海鸥的一种in Web terms, is Aviary's upcoming online terrain generator tool. Just like Myna, it's not currently available even as an alpha product, but given Aviary's track record, they're both bound to be very interesting products. Tern, the bird is a seabird in the family Sternidae, a relative of gulls and skimmers. Most hunt fish by diving, but they're not particularly fond of swimming.

Thunderbird -mozilla的邮件接收程序，挺好用的。unlike other animals in this list, is either extinct or never existed, depending on which type of thunderbird you're referring to. Phorusrhacidae, also known as terror birds, were giant flightless birds that lived in South America during the Cenozoic, and they weren't nice at all, especially if they considered you as prey (which they often did with mammals of all sizes).

If we're talking cryptozoology, Thunderbird is a large bird-like creature rumored by some to still wander the Americas. Mozilla's Thunderbird - once a very important part of their product range - today seems to be on the verge of extinction, too. It's still being actively developed, and it's a great e-mail client; the problem is that no one really cares much about desktop e-mail clients anymore.

Yahoo -雅虎！Yahoo 的命名来自史蒂文生的名著《格列佛游记》中一种人面兽身的动物，Yahoo 还有另外一个意思，它是灰冠弯嘴鹛（Grey-crowned Babbler）的另一个俗称，生活在澳大利亚，印度尼西亚，以及巴布新几内亚。 besides being the popular Web portal and "the company that should have taken Microsoft's offer before everything went to hell," the word yahoo usually denominates a loud, unintelligent brute. However, there's another meaning to the word: it's the popular name for the Grey-crowned Babbler, a bird that inhabits Australia, Indonesia, and Papua New Guinea. Besides its rather specific call which probably gave her the name Yahoo, it doesn't seem to be particularly interesting.

Know of another Web service or product named after an animal? Please, name it in the comments, we'd like to hear about it!

nutch0.9, 性能大为提升。

2008-10-21T16:28:00.001+08:00

　　很多用lucene和nutch的用户都有一个很大的烦恼，就是它的性能和稳定性在工程上确实不是很让人感觉满意。

　　不过nutch0.9出来可以让大家多了一点信心，也为自己的项目多了一份保险。据FooFactory的测试，nutch9比nutch8在速度上提升了两倍，存储空间也降了一半。

The following graph shows how the size of equal crawls has changed over time.

Time spend in crawling is plotted below.

　　看了这份测试报告，我马上就下来了。准备好好爽一把！

在BtoB学习的一个来月

2008-10-21T16:27:00.003+08:00

从口碑到BtoB学习了一个来月了，在这个月里，感觉时间过得好快。来学习，也是来做项目的，因为口碑用的搜索是BtoB的技术，我们争取一定要把它自己掌握以后学以至用。
带着两个需求过来，一开始就以需求为中心行动起来。
先把字典分词搞定，再把按推荐菜次数排序搞定，最后宪哥又多了一个排店铺到临时所先择的中心点距离来排序。三个需求下来。对isearch的认识也加深了不少，也很感觉BtoB这边的孙海涛的支持和帮助。
三个需求搞定，我也就很快要回口碑了。两个地方是很不一样的地方，起码有些代沟，口碑大家都很年青，这里就不一样多了。气氛比较严肃一些。呵呵，不过人是很热情，很好的。一个来月，我也一直忙着做项目也没有和他们认识几个。

Spirit+lucene+nutch

2008-10-21T16:27:00.001+08:00

垂直搜索是针对某一个行业的专业搜索引擎，是搜索引擎的细分和延伸，是对网页库中的某类专门的信息进行一次整合，定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。垂直搜索引擎和普通的网页搜索引擎的最大区别是对网页信息进行了结构化信息抽取，也就是将网页的非结构化数据抽取成特定的结构化信息数据，好比网页搜索是以网页为最小单位，基于视觉的网页块分析是以网页块为最小单位，而垂直搜索是以结构化数据为最小单位。然后将这些数据存储到数据库，进行进一步的加工处理，如：去重、分类等，最后分词、索引再以搜索的方式满足用户的需求
垂直搜索引擎技术同信息采集技术有一些共同点,不同的是,信息采集主要是将采集的信息导入本地库，而垂直搜索引擎主要是以网页的形式展现给用户,通用搜索引擎主要是利用一个spider程序到网络上爬行,一般是某个特定的周期派出一次将网页更新,垂直搜索引擎同样应有一个spider程序，但该程序只在一些特定的网络上爬行，并不会对每一个链接都感兴趣,相对来说,垂直搜索引擎的收录范围大大缩小了,但并不意味着内容的缩小,通用搜索引擎对一些动态脚本是不敏感的,例如***asp?id=***,另外还有一些javascript之类的网页一般不被收录,而恰恰是这类动态网页包含了丰富的内容,垂直搜索引擎是必须收录这些动态脚本的,这就需要在技术上做一些特殊处理,另外由于目前网页中的链接形式非常多,不但有动态脚本也有flash做的链接,这些链接方式通过传统的spider程序是很难解析出来的,在垂直搜索引擎中也应该解决.

垂直搜索的核心技术实际上就是智能spider的技术，也就是说如何将定向或者非定向的网页抓取下来进行分析后得到格式化数据的技术。垂直搜索引擎的好坏决定因素很多，但是spider的技术几乎决定了它的大部分得分。行业化很强的垂直搜索，对信息的收集，过滤等步骤的技术要求非常高。这里可以用到的技术很多，可以推荐一些，比如英国的General Architecture for Text Engineering　，另一个是Spirit is an object oriented recursive descent parser framework implemented using template meta-programming [1] techniques.

垂直搜索一般情况下爬虫分３种模式：

１．broad search的基础上对信息进行分类挑选组织。
２．定向爬虫获取信息，初级的用配上手工或者自动的模版，更高级可以用到相关的信息抽取技术，将信息进行格式化分析入库。
３．目标网站提供特殊的数据源的接口，利用这些数据进行再加工。

nutch插件加载机制

2008-10-21T16:26:00.001+08:00

当某个插件需要被加载时， Nutch 会加载所有插件的相关接口到缓存，此后每个插件需要实例的时候，根据相关接口和相关接口实现实例在缓存内的记录，使用反射实现一个实例并返回，下面以 QueryFilter 的所有插件被加载例子进行说明。

具体代码参看org.apache.nutch.seacher.QueryFilters<init>

（ 1 ）当第一次需要得到 QueryFilter 的一个子类的实例时，使用下面这句话试图获得所有的实例：

this.queryFilters =

(QueryFilter[]) conf.getObject(QueryFilter.class .getName());

（2）如果为空，则试图从插件仓库中得到该插件的扩展点：

ExtensionPoint point = PluginRepository.get(conf)

.getExtensionPoint(QueryFilter.X_POINT_ID);

在 PluginRepository.get(conf) 这句话中，返回插件仓库，如果仓库为空，会初始化所有插件：

初始化所有插件PluginRepository.<init>

① 试图从缓存内获得插件仓库。

PluginRepository result = (PluginRepository)CACHE.get(conf);

② 如果未获得，则初始化所有插件

result = new PluginRepository(conf);

l 初始化以活动插件和扩展点的集合

fActivatedPlugins = new HashMap();

fExtensionPoints = new HashMap();

this.conf = conf;

l 获得插件存放位置

String[] pluginFolders = conf.getStrings("plugin.folders");

l 实例化PluginManifestParser：

PluginManifestParser manifestParser = new PluginManifestParser(conf, this);

PluginManifestParser 是一个封装了PluginRepository的工具类，在构造时，分析每个插件的文件夹，把每个plugin.xml文件的内容进行分析，记录了所有的插件接口和插件接口内所包含的所有实现类的关系。

l 放入缓存

CACHE.put(conf, result);

Plugin.xml 描述内容见附录一

（3）获得所有QueryFilter的子类描述。

Extension[] extensions = point.getExtensions();

（4）循环获得每个插件的两个参数，fieldName和rawFieldNames，生成每个filter插件实例。

for (int i = 0; i < extensions.length; i++) {

Extension extension = extensions[i];

ArrayList fieldNames = parseFieldNames(extension, "fields");

ArrayList rawFieldNames = parseFieldNames(extension, "raw-fields");

if (fieldNames.size() == 0 && rawFieldNames.size() == 0) {

if (LOG.isWarnEnabled()) {

LOG.warn("QueryFilter: " + extension.getId()

+ " names no fields.");

}

continue;

}

filters[i] = (QueryFilter) extension.getExtensionInstance();

FIELD_NAMES.addAll(fieldNames);

FIELD_NAMES.addAll(rawFieldNames);

conf.setObject("FIELD_NAMES", FIELD_NAMES);

RAW_FIELD_NAMES.addAll(rawFieldNames);

conf.setObject("RAW_FIELD_NAMES", RAW_FIELD_NAMES);

}

至此，所有实现QueryFilter的子类实例均被加载。如果需要开发自己的插件，同样可以参考这个过程，plugin.xml的具体内容的描述负在下面：

<?xml version="1.0" encoding="UTF-8"?>

<!― 插件的根元素，根元素的属性表明了一个插件的基本身份-->

<plugin id=" 唯一身份（被插件仓库作为身份标示）" name="名称" version="版本号"

provider=" 作者"class="类名（可选）">

<!― 如果存在此元素，则保存到fExportedLibs（输出类库集合），否则存放到

fNotExportedLibs （非输出类库集合）-->

</library>

</runtime>

<!― 需要注意，此处所需要的类库，包括该类库所需的类库，都不得在此引用本插件-->

</requires>

<extension id=" 本类的包名（从代码中看没有被使用）"

name=" 类名（从代码中看没有被使用）"

point=" 扩展点类名（即接口名）">

<implementation id=" 实现扩展的唯一标识（与类名相同，被parse-plugins.xml

作为身份表示使用）"

class=" 实现扩展的类的类名"/>

</extension>

<!― 仅在nutch-extensionpoints\plugin.xml中存在，一次性加载纪录下所有的扩展点的名称-->

< extension-point id=" 扩展点唯一标识"name="扩展点名"/>

</plugin>

下次会写一个完整的plugin以供参考。

摘自http://www.blogjava.net/redmu/archive/2006/12/02/85092.html

linux sed 批量替换多个文件中的字符串

2008-10-21T16:25:00.005+08:00

一、linux sed 批量替换多个文件中的字符串

sed -i "s/oldstring/newstring/g" `grep oldstring -rl yourdir`

例如：替换/home下所有文件中的www.bcak.com.cn为bcak.com.cn

sed -i "s/www.bcak.com.cn/bcak.com.cn/g" `grep www.bcak.com.cn -rl /home`

windows下的hadoop的分布部署

2008-10-21T16:25:00.003+08:00

1.windows下的hadoop的分布部署主要有两种方式
1.1.采用cygwin模拟linux下命令的方式,部署安装hadoop系统.
1.2.修改系统的代码文件DF.java使其可以在windows下运行.
主要原因在于,在hadoop的代码中对数据节点的磁盘使用情况的获取采用了
linux下的df -k 命令进行获取
而在windows没有此命令支持,因此在数据节点启动DataNode时会产生启动进程异常错误.
解决的方法在
hadoop的网站上已说明
具体参看.
http://issues.apache.org/jira/browse/HADOOP-33? page=com.atlassian.jira.plugin.system.issuetabpanels:all-tabpanel
基本上是找到相应的替换命令获取磁盘空间,在window xp以及2003下采用
fsutil命令获取磁盘情况即可.
2. 需要注意的是:
在上面的网址中提供的方法还有一个问题需要解决
:获取磁盘命令获取到的信息.对于操作系统的不同语言版本获取的磁盘信息前缀信息也不一样,所以对于不同的操作系统不同的语言版本可以根据需要做修改.

个人常用的VIM命令列表

2008-10-21T16:25:00.001+08:00

移动光标

上:k nk:向上移动n行 9999k或gg可以移到第一行 G移到最后一行
下:j nj:向下移动n行
左:h nh:向左移动n列
右:l nl:向右移动n列

w：光标以单词向前移动 nw：光标向前移动n个单词光标到单词的第一个字母上
b：与w相反
e: 光标以单词向前移动 ne：光标向前移动n个单词光标到单词的最后一个字母上
ge:与e相反

$:移动光标到行尾 n$:移动到第n行的行尾
0（Num）：移动光标到行首
^:移动光标到行首第一个非空字符上去

f<a>:移动光标到当前行的字符a上，nf<a>移动光标到当前行的第n个a字符上
F:相反

%:移动到与制匹配的括号上去（），{}，[]，<>等。

nG:移动到第n行上 G:到最后一行

CTRL＋G 得到当前光标在文件中的位置

向前翻页：CTRL+F
向下移动半屏：CTRL＋G
向后翻页：CTRL+B

存盘：
:q! :不存盘退出
:e! :放弃修改文件内容，重新载入该文件编辑
:wq ：存盘退出

dw：删除一个单词,需将光标移到单词的第一个字母上，按dw，如果光标在单词任意位置，用daw
dnw:删除n个单词
dne:也可，只是删除到单词尾
dnl:向右删除n个字母
dnh:向左删除n个字母
dnj:向下删除n行
dnk:向上删除n行
d$：删除当前光标到改行的行尾的字母
dd：删除一行
cnw[word]:将n个word改变为word
cc:改变整行
C$:改变到行尾

J: 删除换行符，将光标移到改行，按shift+j删除行尾的换行符，下一行接上来了.
u: 撤销前一次的操作
shif+u(U):撤销对该行的所有操作。

:set showmode :设置显示工作模式

o：在当前行的下面另起一行
O（shift+o)：在当前行的上面另起一行

nk或nj：光标向上或向下移n行，n为数字
an!【ESC】：在行后面加n个感叹号(!)
nx:执行n次x(删除)操作

ZZ：保存当前文档并退出VIM

:help ：查看帮助文档，在这之中，按CTRL+] 进入超连接，按CTRL＋O 返回。
:help subject :看某一主题的帮助，ZZ 退出帮助

:set number / set nonumber :显示/不显示行号
:set ruler /set noruler:显示/不显示标尺

/pattern 正方向搜索一个字符模式
?pattern 反方向搜索一个字符模式
然后按n 继续向下找

把光标放到某个单词上面，然后按*号键，表示查找这个单词
查找整个单词：/\<word\>

:set hlsearch 高亮显示查找到的单词
:set nohlsearch 关闭改功能

m[a-z]:在文中做标记，标记号可为a-z的26个字母，用`a可以移动到标记a处

自动补全：

ctrl+p

r:替换当前字符
nr字符：替换当前n个字符

查找替换：
way1:
/【word】 :查找某个word
cw【newword】:替换为新word
n: 继续查找
.: 执行替换

way2:
:s/string1/string2/g:在一行中将string1替换为string2,g表示执行用c表示需要确认
:num1,num2 s/string1/string2/g:在行num1至num2中间将string1替换为string2
:1,$ s/string1/string2/g:在全文中将string1替换为string2

v:进入visual 模式
【ESC】退出
V:shift+v 进入行的visual 模式
CTRL+V:进如块操作模式用o和O改变选择的边的大小。

粘贴：p，这是粘贴用x或d删除的文本
复制：
ynw：复制n个单词
yy：复制一行
ynl:复制n个字符
y$:复制当前光标至行尾处
nyy:拷贝n行
完了用p粘贴

:split:分割一个窗口
:split file.c ：为另一个文件file.c分隔窗口
:nsplit file.c: 为另一个文件file.c分隔窗口，并指定其行数
CTRL＋W在窗口中切换
:close：关闭当前窗口

在所有行插入相同的内容如include<，操作方法如下：
将光标移到开始插入的位置，按CTRL+V进入VISUAL模式，选择好模块后
按I（shift+i)，后插入要插入的文本，按[ESC]完成。

:read file.c 将文件file.c的内容插入到当前光标所在的下面
:0read file.c 将文件file.c的内容插入到当前文件的开始处(第0行）
:nread file.c 将文件file.c的内容插入到当前文件的第n行后面
:read !cmd :将外部命令cmd的输出插如到当前光标所在的下面

:n1,n2 write temp.c 将本文件中的n1,到n2行写入temp.c这个文件中去

CTRL＋L刷新屏幕
shift + < 左移一行
shift + > 右移一行

u: undo
CTRL+R: re-do
J: 合并一行
CTRL+p 自动完成功能
CTRL+g 查看当前文件全路径

q[a-z] 开始记录但前开始的操作为宏，名称可为【a-z】，然后用q终止录制宏。
用reg显示当前定义的所有的宏，用@[a-z]来在当前光标处执行宏[a-z].

为log4j增加自定义级别

2008-10-21T16:24:00.001+08:00

并非在项目应用中原先的几个级别不够用了，通常的info,warn,debug ,error,fatal已经可以满足一般的应用，而且log4j也是不推荐用户自定义级别的。
由于在我们的搜索引擎里要为每天的巨大搜索量的日记进行分门别类的记录，面原先的几个级别在程序都已经按一般的需求使用了，所以就必要自己再定义出新的级别以满足我们的需求。
为log4j增加自定义级别其实是一件比较简单的事件。
org.apache.log4j包下的Level.java和Logger.java这两个类改一下，或你继承它们再写一个新类，写法的话你就照着其它的几个级别的写法就可以了。
几分钟搞定，然后再编译打包就可以了。

使用就和其它的级别一样了，只是新加的级别数的问题要你自己好好想想。

Hadoop -- Map-Reduce具体实现详解

2008-10-21T16:23:00.001+08:00

HadoopMapReduce

--Map-Reduce具体实现详解

Keyword:
FileSplit:文件的子集--文件分割体

简介：

这篇文档描述在hadoop中map和reduce操作是怎样具体完成的。如果你对Google的MapReduce各式模式不熟悉，请先参阅MapReduce--http://labs.google.com/papers/mapreduce.html

Map

由于Map是并行地对输入的文件集进行操作，所以它的第一步(FileSplit) 就是把文件集分割成一些子集.如果一个单个的文件大到它已影响到查找效率时，它会被分割成一些小的分割体。要指出的是分割这个一步是不知道输入文件的内部逻辑结构的，比如，以行为逻辑分割的文本文件会被以任意的字节界限分割，所以这个具体分割要自己去指定也可以用hadoop已经定义的几个简单分割。然后每个文件分割体都会对应地有一个新的map任务。

当单个map任务开始时，它会对每个配置过的reduce任务开启一个新的输出书写器(writer).紧接着它(writer)会用从指定的特定InputFormat里得到的RecordReader去读它的文件分割体。InputFormat类分析输入文件并产生key-value键值对.同时InputFormat必需要处理在以文件分割时边界处的记录。比如TextInputFormat会读取分割边界的文件分割体有最后一行，如果当读取的分割体不是第一个时，TextInputFormat会忽略第一行的内容。

InputFormat类并不需要产生一些对有意义的键值对。比如TextInputFormat类的默认输出是以输入文本的行内容为value,以行偏移量为key--大多数应用只用到而很少用到偏移量。

传给用户配置的mapper的键值对都是从RecordReader读入的，用户提供的Mapper类就可以对键值对进行任意的操作再调用OutputCollector.collect 方法来重新收集自己定义后的键值对。产生的输出必需用一个Key类和一个value类，这是因为Map的输出结果要被以SequenceFile的形式写入磁盘，这种形式包括每个文件的类型信息和所有的记录都是同类形的(如果你想输出不同的数据结构你可以继承个子类出来)。Map的输入和输出键值对不需要在类型上有联系.

当Mapper的输出被收集后，它们会被Partitioner类以指定的方式区分地写出到输出文件里。默认是以HashPartitioner类用key类的哈希函数产生的hashcode来区分(因此就要有一个很好的哈希函数，才可以使在各个reduce任务时负载匀衡)。详细可以查看MapTask类。N个输入可以产生M个map任务去跑，每个map任务会产生配置的reduce任务数个输出文件。每个输出文件都会面向一个特定的reduce任务同时所有从map任务产生的键值对都会被送到reduce里。所以在一个特定的reduce任务中对于一个给定的key所有的键值对都会被处理。

Combine

当map操作输出它的键值对时他们已经在内存中存在了。为了性能和效率的考虑，有时候提供一个拥有reduce功能的合成器是有好处的。如果有合成器，那么map的键值对就不会被马上写入到输出里，他们会被收集在list里，一个key值一个list，当写入一定数量的键值对时，这部分缓冲会被送进合成器，每个key都的所有value都会被送进合成器的reduce方法里并且就像原先map输出的键值对一样。

比如，hadoop案例中的word count程序，它的map操作输出是(word,1)键值对，在输入中的词的计数可以用合成器来加速这个操作。一个合成操作会在内存中收集处理lists，一个词一个list。当一定数量的键值对输出到内存中时，就调用合成操作的reduce方法，每次都以一个唯一的词为key，values是list的迭代器。然后合成器输出(word, count-in-this-part-of-the-input)键值对。从Reduce操作的观点来说合成器也拥有Map输出中相同的信息，但是这样会比原先远远减少硬盘的读写。

Reduce

当一个reduce任务开始时，它的输入是分散在各个节点上的map的输出文件里。如果在分布式的模式下，他们需要先在拷贝步骤里拷贝到本地文件系统上。详细可以查看ReduceTaskRunner类

一旦所有的数据都在本地有效时，它会在添加步骤里加到一个文件里。然后这个文件会被合并分类这样相同的key的键值对就可以排在一起(分类步骤)。这样可以使真正的reduce操作变得简单，这个文件会被顺序地读入，值(values)会从输入文件里用一个迭代器传给reduce方法-直到下一个key。详细可以查看ReduceTask类。

最后，输出由每个reduce任务的输出文件组成。面他们的格式可以由JobConf.setOutputFormat类指定，如果用到JobConf.setOutputFormat类，那么输出的key类和value类都要同时指定。

last edited 2007-08-10 09:26:55 by Arun C Murthy

翻译：吴志敏

原文：http://wiki.apache.org/lucene-hadoop/HadoopMapReduce

Nutch Crawler工作流程

2008-10-21T16:22:00.003+08:00

Nutch Crawler工作流程及文件格式详细分析

Crawler和Searcher两部分被尽是分开，其主要目的是为了使两个部分可以布地配置在硬件平台上，例如Crawler和Searcher分别被放置在两个主机上，这样可以极大的提高灵活性和性能。
一、总体介绍：

1、先注入种子urls到crawldb
2、循环：

generate 从crawldb中生成一个url的子集用于抓取
fetch 抓取上一小的url生成一个个segment
parse 分析已抓取segment的内容
update 把已抓取的数据更新到原先的crawldb

    3、从已抓取的segments中分析出link地图
    4、索引segment文本及inlink锚文本
二、相关的数据结构：
    Crawl DB
● CrawlDb 是一个包含如下结构数据的文件:
            <URL, CrawlDatum>
● CrawlDatum:
        <status, date, interval, failures, linkCount, ...>
● Status:
        {db_unfetched, db_fetched, db_gone,linked,
            fetch_success, fetch_fail, fetch_gone}

　　爬虫Crawler：
    Crawler的工作流程包括了整个nutch的所有步骤－－injector,generator,fetcher,parseSegment, updateCrawleDB,Invert links, Index ,DeleteDuplicates, IndexMerger
    Crawler涉及的数据文件和格式和含义，和以上的各个步骤相关的文件分别被存放在物理设备上的以下几个文件夹里，crawldb,segments,indexes,linkdb,index五个文件夹里。
    那么各个步骤和流程是怎么，各个文件夹里又是放着什么呢？
    观察Crawler类可以知道它的流程
./nutch crawl urls -dir ~/crawl -depth 4 -threads 10 -topN 2000

    1、Injector injector = new Injector(conf);
            Usage: Injector <crawldb> <url_dir>
        首先是建立起始url集，每个url都经过URLNormalizers、filter和scoreFilter三个过程并标记状态。首先经过normalizer plugin,把url进行标准化，比如basic　nomalizer的作用有把大写的url标准化为小写，把空格去除等等。然后再经过的plugin 是filter，可以根据你写的正则表达式把想要的url留下来。经过两个步骤后，然后就是把这个url进行状态标记，每个url都对应着一个 CrawlDatum,这个类对应着每个url在所有生命周期内的一切状态。细节上还有这个url处理的时间和初始时的分值。
　　同时，在这个步骤里，会在文件系统里生成　如下文件　crawlDB\current\part-00000
　　这个文件夹里还有.data.crc , .index.crc, data, index四个文件

● MapReduce1: 把输入的文件转换成DB格式
    In: 包含urls的文本文件
    Map(line) → <url, CrawlDatum>; status=db_unfetched
    Reduce() is identity;
    Output: 临时的输出文件夹
● MapReduce2: 合并到现有的DB
    Input: 第一步的输出和已存在的DB文件
    Map() is identity.
    Reduce: 合并CrawlDatum成一个实体(entry)
    Out: 一个新的DB
　　

    2、Generator generator = new Generator(conf);//Generates a subset of a crawl db to fetch

        Usage: Generator <crawldb> <segments_dir> [-force] [-topN N] [-numFetchers numFetchers] [-adddays numDays] [-noFilter]
       在这个步骤里，Generator一共做了四件事情，
    1、给前面injector完成的输出结果里按分值选出前topN个url,作为一个fetch的子集。
    2、根据第一步的结果检查是否已经选取出一些url,CrawlDatum的实体集。
    3、再次转化，此次要以url的host来分组，并以url的hash来排序。
    4、根据以上的步骤的结果来更新crawldb(injector产生)。

● MapReduce1: 根据要求选取一些要抓取的url
    In: Crawl DB 文件
    Map() → if date≥now, invert to <CrawlDatum, url>
        Partition 以随机的hash值来分组
    Reduce:
        compare() 以 CrawlDatum.linkCount的降序排列
    output only top-N most-linked entries
● MapReduce2: 为下一步抓取准备
    Map() is invert; Partition() by host, Reduce() is identity.
    Out: 包含<url,CrawlDatum> 要并行抓取的文件

　　3、Fetcher fetcher = new Fetcher(conf);//The fetcher. Most of the work is done by plugins
       Usage: Fetcher <segment> [-threads n] [-noParsing]
       这个步骤里，Fetcher所做的事情主要就是抓取了，同时也完成一些其它的工作。首先，这是一个多线程的步骤，默认以10个线程去抓取。根据抓取回来后的结果状态来进行不同的标记，存储，再处理等等行为。输入是上一步骤Generator产生的segment文件夹，这个步骤里，考虑到先前已经按照ip 或host来patition了，所以在此就不再把input文件进行分割了。程序继承了SequenceFileInputFormat重写了 inputFormat来达到这点。这个类的各种形为都是插件来具体完成的，它只是一个骨架一样为各种插件提供一个平台。它先根据url来取出具体的 protocol，得到protocolOutput，进而得到状态status及内容content。然后，根据抓取的状态status来继续再处理。再处理时，首先会将这次抓取的内容content、状态status及它的状态标记进行存储。这个存储的过程中，还会记下抓取的时间，再把segment 存过metadata，同时在分析parsing前经过scoreFilter，再用parseUtil(一系列的parse插件)进行分析，分析后再经过一次score插件的处理。经过这一系列处理后，最后进行输出（url,fetcherOutput）。
    之前讲到根据抓取回来的各种状态，进行再处理，这些状态一共包括12种，比如当抓取成功时，会像上刚讲的那样先存储结果，再判断是否是链接跳转，跳转的次数等等处理。

● MapReduce:抓取
    In: <url,CrawlDatum>, 以host分区, 以hash值排序
    Map(url,CrawlDatum) → <url, FetcherOutput>
        多线程的, 同步的map实现
    调用已有的协议protocol插件
    FetcherOutput: <CrawlDatum, Content>
    Reduce is identity
    Out: 两个文件: <url,CrawlDatum>, <url,Content>

       4、 ParseSegment parseSegment = new ParseSegment(conf);//Parse content in a segment
          Usage: ParseSegment segment
对于这个步骤的逻辑比较简单，只是对抓取后上一步骤存储在segment里的content进行分析parse。同样，这个步骤的具体工作也是由插件来完成的。

MapReduce: 分析内容
    In: <url, Content> 抓取来的内容
    Map(url, Content) → <url, Parse>
        调用分析插件parser plugins
    Reduce is identity.
    Parse: <ParseText, ParseData>
    Out: 分割成三个文件: <url,ParseText>, <url,ParseData> 和<url,CrawlDatum> 为了outlinks.

       5、CrawlDb crawlDbTool = new CrawlDb(conf);//takes the output of the fetcher and updates the crawldb accordingly.
       Usage: CrawlDb <crawldb> (-dir <segments> | <seg1> <seg2> ...) [-force] [-normalize] [-filter] [-noAdditions]
    这个类主要是根据fetcher的输出去更新crawldb。 map和reduce分别做了两方面的事情，在map里是对url的nomalizer,和filte,在reduce里是对新抓取进来的页面(CrawlDatum)和原先已经存在的进行合并。

MapReduce:合并抓取的和分析后的输出到crawldb里
    In: <url,CrawlDatum>现有的db加上抓取后的和分析后的输出
    Map() is identity
    Reduce() 合并所有实体(entry)成一个，以抓取后的状态覆盖原先的db状态信息，统计出分析后的链接数
    Out: 新的crawl db

       6.LinkDb linkDbTool = new LinkDb(conf);//Maintains an inverted link map, listing incoming links for each url.
       Usage: LinkDb <linkdb> (-dir <segmentsDir> | <seg1> <seg2> ...) [-force] [-noNormalize] [-noFilter]
    这个类的作用是管理新转化进来的链接映射，并列出每个url的外部链接(incoming links)。先是对每一个url取出它的outLinks，作map操作把这个url作为每个outLinks的incoming link，在reduce里把根据每个key来把一个url的所有incoming link都加到inlinks里。这样就把每个url的外部链接统计出来了。然后一步是对这些新加进来的链接进行合并。

● MapReduce: 统计每个链接的外部链接
    In: <url,ParseData>, 包含所有链接的分析后的结果
    Map(srcUrl, ParseData> → <destUrl, Inlinks>
        为每个链出链接收集一个入链。
    Inlinks: <srcUrl, anchorText>*
    Reduce()加上外部入链数量
    Out: <url, Inlinks>, 一个相关完整的链接地图

       7.Indexer indexer = new Indexer(conf);//Create indexes for segments
       Usage: <index> <crawldb> <linkdb> <segment> ...
　　这个类的任务是另一方面的工作了，它是基于hadoop和lucene的分布式索引。它就是为前面爬虫抓取回来的数据进行索引好让用户可以搜索到这些数据。这里的输入就比较多了，有segments下的fetch_dir,parseData和parseText，还有crawldb下的 current_dir和linkdb下的current_dir。在这个类里，map也不做，在reduce时处理。当然要把这些数据体组合成一个 lucene的document让它索引了。在reduce里组装好后收集时是<url,doc>，最后在输出的OutputFormat类里进行真正的索引。

● MapReduce: 生成lucene的索引文件
    In: 外个文件, values 以 <Class, Object>包装
        <url, ParseData> from parse, 有title, metadata, 等等信息.
        <url, ParseText> from parse, 文本 text
        <url, Inlinks> from invert, 锚文本anchors
        <url, CrawlDatum> from fetch,用于抓取
    Map() is identity
    Reduce() 生成Lucene Document
        调用index插件
    Out: 建立Lucene 索引; 最后存储到文件系统上

       8. DeleteDuplicates dedup = new DeleteDuplicates(conf);//这个类的作用就是它的名字了。
       Usage: DeleteDuplicates <indexes> ...
　　这个类的作用就是这它的名字所写的意思－－去重。前面索引后（当然不是一次时的情况）会有重复，所以要去重。为什么呢，在一次索引时是不重复的，可是多次抓取后就会有重复了。就是这个原因才要去重。当然去重的规则有两种一个是以时间为标准，一种是以内容的md5值为标准。
       9.IndexMerger merger = new IndexMerger(conf);
       IndexMerger [-workingdir <workingdir>] outputIndex indexesDir...
　　这个类就比较简单了，把所有的小索引合并成一个索引。在这一步没有用到map-reduce。

　　在这九大步骤中generator,fetcher,parseSegment,crawlDbTool会根据抓取的层数循环运行，当抓取的层数大于1时会运行linkInvert,index,dedup,和merge。

根据nutch,crawl原码的理解，如果有什么不正确的地方欢迎与我一直交流。转栽请注明出处。

吴志敏－－2007－10－14

Nutch的Analysis包详解

2008-10-21T16:22:00.001+08:00

    对于中国用户，最早遇到的棘手问题可能就是中文分词了。由于nutch对中文的支持默认是单字分词，所以很多人在一拿到nutch后要解决的第二件事情（第一件事情当然是让nutch跑起来了）往往是要加入一个可行的中文分词模块。所以对这个包研究的人也是最多的，在网上关于nutch的中文分词的文章也是人气很高的。那么就让我们一起来走近它看看它到底是怎么一回事，也让我们来做个中文分词器让中文在nutch上跑得更好。
　　首选一点， nutch的中文分词主要是在两个地方用到，一个是索引时，一个是在搜索时。由于nutch是基于lucene的，所以nutch的分词是继承 lucene的，所以基本原理大家就明白一二了。如果你对lucene不清楚请你先对它了解一下，不然在nutch里你是不能深入的。
    在lucene里，它的分词模块抽象出来了一个抽象类－－Analyzer.java。这个类包含这个抽象方法public abstract TokenStream tokenStream(String fieldName, Reader reader);用户自定义的Analyzer主要就是实现这个方法。这个方法要返回一个token流。而要返回一个分词的完成的token流又要写另一个类的子类它就是－－Tokenizer.java，而它又是继承自TokenStream.java的。用户自定义的Tokenizer类要写的一个关键方法是next().这个方法就是返回一个个的中文词语。对于中文要进行完美的分词是有很大难度的，当然也有比较机械比较简单的方法比如二元分词。分词算法对于中文是很重要也很复杂的，在这里三言两语也不能讲清楚。可以推荐大家试一下的是中科院的ICTCLAS，还有台湾一个人写的字典分词的jar包。看了这些就知道其实lucene里的分词器是可以拿到nutch里用的了。在nutch的德语和法语的分词插件都是直接把lucene的分词器包装一下就拿过来用了。所以你也可以试试中文的哦。
    还有相关的概念：n-Grams

ngram的大意：

将输入的语料，分词成基本的单元，（可以用切词程序或者直接就是一个字）

a, b, c, d, e,......

     然后按照相邻原则统计各种词出现的频度：
     ------------------------------------------
     one gram :
     a,
     b,
     c,
     d,
     e,
     ...
     ------------------------------------------
     two gram :
     ab,
     bc,
     cd,
     de,
     ...
     ------------------------------------------
     three gram :
     abc,
     bcd,
     cde,
     ...
     -------------------------------------------
     设定频度阈值，除掉频度过低的新词
     最后比照词库进行一定的过滤，得到可能的新词。

ngram的难度在于统计和甄别，统计的时候，往往是n倍于语料的大小，内存一次是装不下的，
甄别，如何最终判断一个词是否真的是新词，或者只是无意义的组合。

    统计的时候可以用的 trick:
     1. 对词组合，做签名， mod签名，每次只对签名的mod值相同的做统计。
     2. 长度。

以上算是对nutch--Analysis包介绍前的背景知识。
    在nutch里，默认的词汇分词和查询分析是用javacc--Java Compiler Compiler来做的。javacc编译后会生气java代码，用生成的java代码来执行。所以它生成的代码是很难看懂的，因为是机器写的嘛。所以如果你要更好理解或想改造nutch的默认分词模块，就得好好地学习一下javacc咯。Nutch是基于插件的，所以分词模块你可以很容易地自己加一个插件就可以了。就像前面所说的那样就可以实现自己的中文分词了。
    当然nutch自身的分词是相当高效和优秀的，如果你想在它的基础之上修改一个可以处理所有语言的分词器那就要把这个包里的代码好好研究研究了。

    现在开始研究它的代码，在org.apache.nutch.analysis这个包里定义了nutch分析器的基本接口NutchAnalyzer
　
　　　

这个类图可以很清楚地把analysis包对外的接口搞得很清楚了。由于nutch是基于plugin的模式，所以对外来说NutchAnalyzer这个接口是最重要的。在图中可以看到德语和法语这两个分析器就是直接继承了这个NutchAnalyzer接口的。所以要加入自己的分析器，只要继承这个类就可以了。而nutch自身所带的NutchDocumentAnalyzer分析器就如上图所示，它是由javaCC生成的，在效率上是很不错的。
NutchDocumentAnalyzer这个类里面有两个子分析器AnchorAnalyzer和ContentAnalyzer。 AnchorAnalyzer是为锚文本专用的分析器，它是NutchDocumentAnalyzer的内部类，其实它也是 ContentAnalyzer，只是在域名为"anchor"时，加入了一个过滤器--AnchorFilter，它的作用就是设置这个类中定义的 INTER_ANCHOR_GAP(positionsIncreament是Token的一个属性，此处设为4，增加查询的模糊度)。另一个分器就是 ContentAnalyzer了，这个分析分两部分，一部分是过滤器--CommonGrams,k另一部分是切分器 NutchDocumentTokenizer。以下类图可以很清楚地把这个包内主要的几个类的关系展示出来了。而这其中由 NatchAnalysis.jj生成的文件有NutchAanlysisConstants,NutchAnalysisTokenManager, NutchAnalysis。在lucene里一个分词器包括两部分，一个analyzer一个tokenizer。同样在nutch里也是一致的，所以在这的默认分词器由NutchDocumentAnalyzer和NutchDocumentTokenizer两部分组成，由类图也可以看出来。另外在 NutchDocumentAnalyzer里有一个常用gram的过滤器。

从上面的类图中大家一下就能看得很清楚了，继承了NutchAnalyzer的NutchDocumentAnalyzer就是nutch系统默认的分词器了，它又是调用了NutchDocumentTokenizer切分器，而这个切分器就是由javaCC生成的。

JavaCC是一个java语言分析器，就是按照"模版"，"装配"不同的语言分析程序的源代码。复杂语言的语法通常都是使用 BNF（巴科斯-诺尔范式，Backus-Naur Form）表示法或者其"近亲"� EBNF（扩展的 BNF）描述的。自动化工具可以使用那些描述（我将使用通用的术语 BNF来指代这两种变体）或与它们近似的描述来为你生成解析代码。另外上图还有两个类CharStream(接口)和FastCharStream(实现类)， CharStream是javaCC的输入接口，但FastCharStream不作行号计数，却保存着在输入(input)中Token内的位置信息，这也是lucene要求的。还有一个类需要介绍的是AnalyzerFactory，这个是nutch和插件体系配合的工厂类，用于得到一个分词器。

作者：吴志敏

转载请注明出处

nutch的cache策略及cache策略研究

2008-10-21T16:21:00.001+08:00

一个成熟的商业搜索引擎的cache应该是比较成功的，因为在长期的实践中证明 cache的好坏很大地影响着搜索引擎的效率。虽然I/O、算法等等很大地影响着搜索效率，但是在相差不大或着说在同一数量级上时，cache却可以让引擎的效率成倍或大大地提高。在nutch中当然也是有cache的，只不过比较初级而已。
在nutch中负责cache的是LuceneQueryOptimizer

nutch中的cache策略是LRU(最近最少使用)，nutch里有两个这个类会把各个子clause进行处理，把clause.getBoost ()==0.0的query对象cache到filter里，由于范围查询lucene支持得不好，所以会rangeQuery也cache进来。
因为nutch只做了这一级cache，对于一个全网范围的搜索引擎，这样的cache是远远不够的。

结合一下我们的经验向大家介绍一下搜索引擎领域内的cache。

一．关于搜索引擎用户查询得出的结论：

（1）用户查询有很大比例的重复性。有30％到40％的用户查询是重复查询。

（2）大多数重复的用户查询会在较短的间隔时间被再次重复访问。

（3）大多数用户的查询是短查询，大约包含2－5个单词。

（4）用户一般只查看返回结果的前三个页面（前30个返回结果）。58％用户只查看第一个页面（TOP 10）,15%用户查看第二个页面，不超过12％的用户会查看第三个页面以后的检索结果。

（5）关于用户查询差异程度。有比较大的查询程度，一百万个用户查询中大约63.7%的用户查询只出现过一次。另外一方面，集中的重复查询也非常集中：25个高频查询大约占总查询的1.23%-1.5%.

二．CACHE的基本策略

（1） LRU:最近最少使用策略

基本假设：最近很少被重复访问的缓存记录在最近的将来也不会被访问。这是最简单的一种CACHE策略。将用户查询按照最近使用时间进行排序，淘汰策略将最老的查询淘汰出CACHE。

（2） FBR:不仅考虑时间也考虑引用计数的问题。

FBR在LRU策略的基础上将CACHE分为三个不同的部分：NEW,OLD,MIDDLE

NEW:存储最近被访问过的记录；

OLD：存储最近最少使用的一批记录；

MIDDLE:存储介于NEW和OLD之间的一批记录；

引用计数的时候不考虑NEW区域的记录，只考虑OLD和MIDDLE两个区域的记录引用计数增加，在替换记录的时候从OLD区域选择引用计数最少的那个记录进行替换。

（3） LRU/2：对于LRU的改进，计算第二次到最后一次被访问总的LRU，将老的记录淘汰。

（4） SLRU:

CACHE被分为两个部分：非保护区域和保护区域。每个区域的记录都按照最近使用频度由高到低排序，高端叫做MRU，低端叫做LRU。如果某个查询没有在CACHE找到，那么将这个查询放入非保护区域的LRU端；如果某个查询在CACHE命中，则把这个查询记录放到保护区的MRU端；如果保护区已满，则把记录从保护区放入非保护区的MRU，这样保护区的记录最少要被访问两次。淘汰的机制是将非保护区的LRU淘汰。

（5） LandLord策略

将一个记录增加到CACHE的时候，给予这个记录一个值（DEADLINE）,如果需要淘汰记录的时候，选择CACHE里面DEADLINE最小的那个淘汰，同时将CACHE里面其它所有记录减去这个被淘汰的记录的DEADLINE值，如果一个记录被命中，则将这个记录的DEADLINE放大到一定值。

（6） TSLRU：Topic based SLRU:与SLRU策略相同，不过不是按照查询调整替换策略，而是按照查询所属主题进行调整。

（7） TLRU: Topic based LRU

基本策略和LRU相同，区别在于保留查询的主题（TOPIC）信息，对于某个查询来说，不仅该主题的检索结果进入CACHE，而且原先在CACHE里面的相同主题的查询及其结果也调整时间，更新为最新进入CACHE。可以看作是主题LRU，而LRU是查询LRU。

（8） PDC (probability driven cache)：针对用户的浏览行为建立概率模型，然后调整CACHE里面的记录优先级别，针对某个查询，将用户浏览数目比较多的文档在CACHE里面的级别提高。

（9）预取策略

所谓预取，就是系统预测用户在很短时间内的行为，然后将该行为涉及到的数据预先存储在CACHE里面。存在不同的预取策略，比如预取策略：因为一般用户在查看完第一页检索结果后会翻看第二页结果，所以将该用户查询的第二页结果首先预取到CACHE里面，这样可以减少存取时间。

（10）二级CACHE

有两级CACHE，一级是查询结果CACHE，保留了原始查询以及相关文件；第二级CACHE是倒排文档列表CACHE，也就是查询中某个单词在索引中的倒排列表信息，这个CACHE主要减少了磁盘I/O时间。替换策略采取LRU，结果证明该方法提高30％的性能。

（11）三级CACHE

是对二级CACHE的一种改进策略，除了二级CACHE里面保留的两个CACHE，另外增加一个CACHE，这个CACHE记录了两个单词查询的倒排文档交集记录，这样一个是省去了磁盘I/O时间，另外一个减少了计算交集的操作，有效的减少了计算量。

三．CACHE方法性能分析与比较

（1） LRU适合存储比较小的记录效果才好。

（2）中等大小的CACHE能够满足很大一部分重复用户查询。（大约20％的查询能够在中等大小CACHE找到）

（3）将时间因素和命中次数结合起来的缓存策略好于只考虑时间因素的策略。实验表明FBR/LRU2/SLUR性能总是好于LRU策略。

（4）对于小CACHE来说，静态CACHE策略要好于动态CACHE策略，命中率要高些。

（5）对于LRU来说，大CACHE的重复命中率大约占30％。

（6）对于大CACHE来说，TLRU略微好于LRU，但是差别不太大。对于小CACHE，结论正好相反。

（7）随着CACHE逐步增大，命中率逐渐增加，对于SLRU来说，其性能跟两个分区划分大小无关。

（8） PDC的命中率高于LRU变形算法，大约有53％命中率，不过计算复杂度高。

^ - ^ 开心生活，开心工作

雅虎口碑（杭州）－－吴志敏 http://babatu.blogspot.com

Nutch距离一个商业应用的搜索引擎还有多远

2008-10-21T16:20:00.001+08:00

参考：http://lotusroots.bokee.com/6106980.html

了解nutch的人基本上对这个开源的系统都是比较欣赏的，起码在国内是这样的，也很有多搜索网站是基于这个系统修改过来的，不过要做得好，做得真正是一个商业化的搜索，这个修改就不是一朝一夕的事情，也不是修修剪剪那么简单了。
作为一个通用的全网级别的搜索引擎架构，nutch(lucene)确实为广大人民群众提供了一块大大的蛋糕，为进入搜索这个行业大大降低了门槛。那么它距商业的搜索到底有多远呢？以我的个人观点来谈一下。

一、总体功能

一个专业的网络搜索引擎至少包含3部分即抓取、处理和搜索。下面是它们的一般功能：

抓取：抓取（蜘蛛、爬虫、crawler、spider等）程序负责爬行特定网络（也可能是整个网络），把网络上的页面和其它需要的文件下载到本地来。目前的难点是web2.0的普及导致的js分析和身份认证等问题。
处理：处理（分类、信息抽取、数据挖掘、classify、information extraction、data mining等）程序对抓回来的页面进行分析，比如，对网站的内容进行分类、对新闻页面的新闻信息进行提取、页面模版生成、对各个网站之间的关系进行计算等等。
搜索：搜索（information retrieve）程序负责把文档填充到数据库，然后根据查询字符串到数据库中寻找最相关的文档展现给用户。

二、信息抓取

网络信息抓取包含了见面抓取、文本文件抓取和其它文件地抓取。普通的信息抓取利用基本的html页面分析器(htmlParser、NeckoHtml、 JTidy等)来解析页面，得到其中的信息。基本上两点，一个是抓取，一个是分析。抓取这一步要处理身份论证、要支持多种协议等等的，nutch在这里默认的插件使用的是nekohtml，效果还可以。但是nutch对html分析的结果的文本是把页面里所有的文本都合在一起(其中有一个开关来控制内层锚文本是否加上)作为总文本输出，所以这样页面上所有的噪音都没有去除。另一个是分析，分析一个html，最强的要数ie、firefox等浏览器了，在这一步上，nutch默认的htmlParser的处理能力是不可同日而语的。现在ajax盛行，对于js的处理也是一个重大的问题，现在nutch对js是视而不见的。

三、信息处理

对于信息的处理是nutch最薄弱的环节了，同时也是这个行业里的"宝地"，胜败决定就在这里。这里包括分类、信息抽取、数据挖掘、classify、information extraction、data mining等等，在默认的nutch组件里有cluster这个包，是用来为搜索结果进行聚类用的,还有ontology (本体),是人工智能范畴内的概念。nutch为这方面准备了最最基本的接口，其它的就得自己搞定了，比如机器学习(ML)、自然语言处理(NLP)、数据分析(DA)。nutch默认的聚类是用开源Carrot2 的后缀树算法做Web文本聚类。而Ontology研究热点的出现与Semantic Web的提出和发展直接相关，借助Ontology中的推理规则，使应用系统具有一定的推理能力。默认的nutch也带了一个简单的ontology的应用系统--HP的jena。但是对于一个商业应用来说这些仅仅是一个模具性质的。

四、搜索
nutch其实从功能上来讲是由爬虫和搜索两大部分组成的，搜索是lucene来挑梁的。所以这部分的局限其实就是lucene的局限了。lucene也可能从功能上分为两大部分，一个是索引，一个是查询。对于这部分的研究已经很久了，就是把用户最想要的文档返回给用户，对于搜索引擎而言，速度是非常重要的。索引，专业点说，包含2种：前向索引和反向索引（倒排索引，inverted index）。前者表示的是某个文档里面的所有词语，后者表示的是包含某个词语的所有文档。对应到Lucene上面，它的前向索引可以认为是Term Vectors（词语向量）相关文件，包含.tvx、.tvd和.tvf这3种文件。前向索引没有什么好评论的，它一般只是做为重组原始数据时候的依据，其构建十分简单明了。反向索引对应到Lucene上就是index（索引）。Lucene把索引划分成一个一个的segment（块，其实是一个小索引），直观的说，当有一批新数据到达的时候，我们一般给其构建成一个新的segment，这是因为修改原来的segment的代价很高（并不是说一定很高，只是lucene采用的文件结构无法简单的加入新的文档）。当一个index包含的segment太多的时候，查找性能就很差了（因为一次查询需要查询多个segment），需要进行segment的合并。在搜索方面nutch对lucene作了外部的处理，一是可以进行分布式搜索，每个节点只返回最高分值的结果，最近再合并；另一方面是对查询进行缓冲，不过只有一级缓冲--LRU(nutch的cache策略及cache策略研究)。

五、结论
仅仅从搜索引擎的构架来看，Lucene(Nutch)缺失的一环是信息的处理。信息的处理恰恰是整个搜索引擎中最核心的技术。所以说对于现在这个行业化、垂直化的搜索时代，nutch 的先天不足就已经是致命的了，但是这并不是不可挽回的，nutch的插件式架构，开放的系统逻辑等等特点，已经为开发者打开了窗户。nutch比较通用的处理逻辑，加上灵活的插件式架构，给我们定制它插上了翅膀。但是它也仅仅是一个框架，里面的任何一个细节都会让你头痛不已(比如ML，NLP)!所以真正的难点也就是这些让人头痛的地方。

走着骑的自行车

2008-10-21T10:58:00.002+08:00

Designer: Julia Meyer

Julia Meyer
--
^ - ^ 开心生活，开心工作
雅虎口碑（杭州）－－吴志敏
http://babatu.blogspot.com

外国人设计的“鸟巢”

2008-10-21T10:50:00.002+08:00

Designer: Make Architects

No Tags
--
^ - ^ 开心生活，开心工作
雅虎口碑（杭州）－－吴志敏
http://babatu.blogspot.com

可以让你放心自由漫步野外的棒子

2008-10-21T10:48:00.002+08:00

朝圣，用一支简单的木棒就出发。

你不用担心迷路，也不要什么GPS的数字设备。

这个木棒（也是高科技的家伙），可以让你边走边受到引导，不会迷路。让你感觉更自由。

Designer: Felix Hardmood Beck

Felix Hardmood
--
^ - ^ 开心生活，开心工作
雅虎口碑（杭州）－－吴志敏
http://babatu.blogspot.com

收集一些googled面试题

2008-10-20T22:48:00.002+08:00

一辆学校班车里面能装多少个高尔夫球？
你被缩小到只有硬币厚度那么点高（不是压扁，是按比例缩小），然后被扔到一个空的玻璃搅拌器中，搅拌刀片一分钟后就开始转动。你怎么办？
要是让你清洗整个西雅图的所有窗子，你会收取多少费用？
怎么才能识别出电脑的内存堆栈是向上溢出还是向下溢出？
你要向你8岁的侄子解释什么是数据库，请用三句话完成。
时钟的指针一天内会重合几次？
你需要从A地去B地，但你不知道能不能到，这时该怎么办？
好比你有一个衣橱，里面塞满了各种衬衫，你会怎么整理这些衬衫，好让你以后找衬衫的时候容易些？
有个小镇有100对夫妇，每个丈夫都在欺骗他的妻子。妻子们都无法识破自己丈夫的谎言，但是她们却能知道其他任何一个男人是否在撒谎。镇上的法律规定不准通奸，妻子一旦证明丈夫不忠就应该立刻杀死他，镇上所有妇女都必须严格遵守这项法律。有一天，镇上的女王宣布，至少有一个丈夫是不忠的。这是怎么发生的呢？
在一个重男轻女的国家里，每个家庭都想生男孩，如果他们生的孩子是女孩，就再生一个，直到生下的是男孩为止。这样的国家，男女比例会是多少？
如果在高速公路上30分钟内到一辆车开过的几率是0.95，那么在10分钟内看到一辆车开过的几率是多少（假设为常概率条件下）
如果你看到钟的时间是3:15，那一刻时针和分针的夹角是多少？（肯定不是0度！）
4个人晚上要穿过一座索桥回到他们的营地。可惜他们手上只有一支只能再坚持17分钟的手电筒。通过索桥必须要拿着手电，而且索桥每次只能撑得起两个人的份量。这四个人过索桥的速度都不一样，第一个走过索桥需要1分钟，第二个2分钟，第三个5分钟，最慢的那个要10分钟。他们怎样才能在17分钟内全部走过索桥？
你和朋友参加聚会，包括你们两人在内一共有10个人在场。你朋友想跟你打赌，说这里每有一个人生日和你相同，你就给他1元，每有一个人生日和你不同，他给你2元。你会接受么？
全世界有多少个钢琴调音师？
你有8个一样大小的球，其中7个的重量是一样的，另一个比较重。怎样能够用天平仅称两次将那个重一些的球找出来。
有5个海盗，按照等级从5到1排列。最大的海盗有权提议他们如何分享100枚金币。但其他人要对此表决，如果多数反对，那他就会被杀死。他应该提出怎样的方案，既让自己拿到尽可能多的金币又不会被杀死？（提示：有一个海盗能拿到98%的金币）
--
^ - ^ 开心生活，开心工作
雅虎口碑（杭州）－－吴志敏
http://babatu.blogspot.com

这是谁？

2008-10-20T16:42:00.002+08:00

看到这个图，感觉有很多想说的，可是这个人好像就是自己。
--
^ - ^ 开心生活，开心工作
雅虎口碑（杭州）－－吴志敏
http://babatu.blogspot.com

说说戒烟

2008-10-20T16:41:00.002+08:00

一直想让我爸戒烟，可是每次都有理由，每次都和上一次一样。

看到了吗？香烟燃烧掉了你生活中的美好

吸烟是最最愚蠢的一种自杀方式

--
^ - ^ 开心生活，开心工作
雅虎口碑（杭州）－－吴志敏
http://babatu.blogspot.com

淘宝B2C

2008-10-20T15:48:00.005+08:00

听说淘宝的B2C就要开始了。
国内B2B，C2C都是阿里的天下了，可偏偏B2C还在战国时代，各家都在逐鹿中原，可是最终鹿死谁手还真不一定!为什么呢？
分析一下B2B和C2C的成功，一个非常明显的特点就是这两家都是在建立一个平台，而没有亲身参与其中!阿里巴巴(B2B)做的是信息流，提供商家卖与买的信息交换，在信息流上做文章。而淘宝(C2C)呢，是为最广大的中国网民提供了一个方便，实用的平民交易平台。它们都没有亲身参与其中，这是一个很重要的特点。而这个特点也是由中国的国情来决定的。
当初阿里巴巴在选择赢利模式的时候，是非常困难的，但是马云为首的一群人看准了中国互联网的现状。以一种全球仅有方式进行赢利，而且也是被证明成功的!
淘宝的出世，是一个战略发展的结果，现在无数投资专家都在为它看好，在为它疯狂!它的成长和易趣的败北，也是反应了中国特有的国情。
这个国情是什么呢？
中国互联网是从无到有，从小到大的，不可能一口一个胖子。所以在阿里巴巴的年代，做信息流成功了，在淘宝的年代，免费和本土化成功了。
而现在经过上面两个时代的过程，中国互联网的情况已经很不一样了。大家都知道在阿里巴巴上可以为商人赚钱，都知道在淘宝买东西是生活的一部分了。
而返过来看看B2C，国内的B2C差不多可以说是和阿里巴巴一起开始做起来的。可是现在它们的差别太大了，B2C倒下过，坚持着也有，但是可以称雄的却没有!!
首选，他们做B2C，自己也参与进来，这样这个蛋糕就不可能做大了。因为其它的B2C都是自己的敌人，又怎么可能发展敌人呢？!所以这个市场没有被做起来。那么这些年过去了，这个市场肯定是大了些，但是却没有真正成为网民生活的一部分。这样说来，市场没有被做起来，各自己的小"算盘"当然就打得不怎么地了。所以给人的感觉总是半死不活的。
听说淘宝也要开始B2C了。这是一个让一些人很不安的消息，当然也不是我第一个听说这个消息的。现在已经差不多是在实施了。
我想知道B2C，淘宝会怎么做呢？
相信过不了多久，大家就知道了。
在浙江中小企业那个多呀!当然其它省份也有很多的，这些中小企业的发展规模在改革开放三十年的时候，可以说是不大不小，这种状态是开始到状大必需，群雄争霸嘛，最后会发展出民营的大鳄，这个大家都相信，现在已经有些冒出来了。可是并不是大多数，要不然它们也不叫中小企业了。
中小企业就是淘宝B2C的主力，这个可以拭目以待，从阿里一贯以来的以小积大的做法，我想这回也是一样。联合一切可以联合的力量，正是统一战线的思想!

--
^ - ^ 开心生活，开心工作
雅虎口碑（杭州）－－吴志敏
http://babatu.blogspot.com

基于用户行为分析的搜索引擎质量评测

2008-10-20T15:48:00.004+08:00

--吴志敏 2008

摘要： 本文旨在为本地搜索提供一种基于用户行为分析的质量评测模型。用户的行为是产品好坏的直接表现，反过来也就间接地体现了产品的质量。搜索引擎的质量主要由数据的量，数据的质量和排序来表现。分析本地搜索引擎用户的日志，通过分析用户在搜索活动中行为的三维[1]数据来来得出排序的好坏，及数据质量的好坏。这个好坏力图建立在模糊数学上，通过相关的概率来评测搜索引擎排序及数据质量。

关键词：本地搜索、用户、行为、评测

1、引言：

传统的搜索引擎评测主要基于人工评测，主观评测的好处和坏处都很多。但是由于样本集不可能接近实际值所以这样的评测的结果的可信度很难判断，从而导致在此基础上进行的产品改进和技术改进就可能出偏差。

对于口碑网本地搜索引擎的数据检索，我们现在使用的是扩展的布尔模型[2]。这种模型的数据基础是数据是结构化的，通过用户搜索关键字所在的字段的权值及关键字出现的次数通过一个函数进行计算得出最后排序分值。由于当前口碑网本地搜索主要频道的数据量已经进入百万级，对于搜索结果的排序及数据质量的评测都无法进行有郊的实施。

本文所提出的基于用户行为分析的质量评测模型力图建立一套体系，它可以通过每天用户产生的日志分析结果来计算出每个关键词下排序及数据质量的好坏的模糊评测。

2、用户行为：

本文的所有依据都假设在大多数的用户行为是体现本地搜索产品好坏的标准。既用户的每次搜索行为就是一次自觉的测试，而其在按下搜索键后的行为就是对于这一次关键字搜索产生结果的打分。产品为客户设计，大多数客户的满意就是产品成功。所以本文认为这一假设的逻辑具有普适性。

对于用户在口碑网本地搜索引擎中的搜索行为，本文定义为三维：在用户点下搜索键后，第一维是在列表页的点击顺序；第二维是进入列表页的顺序；第三维是时间。如图一，在用户搜索"杭帮菜"后，得到的搜索结果。这是前五条记录，第一维指用户在这一页中点击的顺序。如80%的用户在搜索"杭帮菜"后点的是第五条，那么认为我们的排序有改进的空间。如果80%的用户搜索"杭帮菜"后，点击的是第10条。那么就认为我们的"杭帮菜"排序是不友好的。第二维指用户点出列表页上的一条记录进行信息页的深度。本文假设用户对信息页感兴趣的程度与用户在detail页中进行的活动成正比关系。如用户进入第一条"张生记大酒店双菱店"，又去了地图，这一比率如果比较高，则认为这个排序比较好和这条数据的质量也比较好。第三维是时间，如果用户在搜索"杭帮菜"后，看了很久才点进信息页，那么认为列表页的展现不够好或数据不够好。如果用户迅速进行第二页，那么认为排序不好。用户进入信息页又马上回到列表页再打开新的信息页，说明前一次打开的不是想要的。

............
下面内容暂不发表。

--
^ - ^ 开心生活，开心工作
雅虎口碑（杭州）－－吴志敏
http://babatu.blogspot.com

YAHOO!被收购--帝国的没落

2008-10-20T15:47:00.009+08:00

今天早上上班打开新闻一看，微软要用466亿美元收购雅虎的新闻让我的瞳孔放大了不少!

从开始接触电脑或者说是互联网发芽时，就听说这个雅虎了，这个帝国当年鼎盛时，是多么的风光啊!从个人感情上讲，雅虎确实是值得尊敬的。但是从最近五年的股票趋势来看，它真的一次一次地让投资者伤心。从资本的角度来讲，它被收购或怎样是必然的。但是真的这天来临时，却感觉还是有点突然。是人同情弱者的本能或是其它让我对它还有些可惜。

网上有无数人对这一事件进行了评论，在互联网这确实是一个大事件!

MS和Yahoo!是两家很不一样的公司，收购可行？这是一问号，但是这个MS要收购的消息的宣布就可以说明MS要转型，而且是态度坚决!先不管成功与否，但是未来一定会有与GOOGLE收板的公司的出现。而MS的这一收购正是这方向上的偿试，互联网正一步步地深入人们的生活，人们已经不可能离开它了。这中间当然是充满了利益。资本总是要收益最大化，所以MS高层有很大的信心收购成功，当然这中间可能有搅局者出现。

从前几天YAHOO!裁员，到现在的收购，这好像是有关系的，但是杨致远上任到现在，还没有给他足够的时间呢，就碰到了MS的收购。他心里一定不好受，起码应该给他一些时间拯救大兵yahoo!

还有一个问题是这起收购对中国的影响，现在地球最小了嘛!

yahoo!拥有阿里的40%经济收益权，还有小于此的投票权。所以一旦收购完成，对阿里巴巴，中国最大的互联网实体是有很大影响的。个人认为这个影响对于阿里来说是利大于蔽的。

这个下回接着聊。

--
^ - ^ 开心生活，开心工作
雅虎口碑（杭州）－－吴志敏
http://babatu.blogspot.com

lucene2.3存储格式说明

2008-10-20T15:47:00.008+08:00

让质量成为用户来口碑网的主要原因

2008-10-20T15:47:00.006+08:00

今天技术与产品一起讨论关于口碑网本地搜索的质量评测的研讨会。
为了把我们做得更好，我们只有把质量放在第一位，把用户放在第一位，这也是阿里人的第一价值观，客房第一。
在分析了用户在本地搜索中的各种搜索行为，我们也确实可以看到我们自己在这半年多来的努力还是有很多需要改进的地方。但是另一个更重要的方面是，我们还要为一正套的系统来持续地支撑我们的搜索系统来不断地改进，不断地提高用户体验。
结合口碑网多年来对用户的认识和用户对本地生活的需求，我们大概把用户的搜索行为三个大类，共六各情况。对这多种的搜索行为，每个都会和所有的竟争对手定期进行对比，分析我们的不利不足之处，然后进行有目标的改进!
当各家的数据量都差不多的时候，就看用户的习惯和用户体验的比拼。口碑网要在自己的每一个阶段都把用户放在第一位，让我们的努力成为用户化验的改进的动力。

--
^ - ^ 开心生活，开心工作
雅虎口碑（杭州）－－吴志敏
http://babatu.blogspot.com

阿里巴巴是微软收购雅虎事件变数

2008-10-20T15:46:00.005+08:00

在微软收购雅虎事件中存在着一个。

　　2005年7月的雅虎-阿里巴巴交易中，雅虎以10亿美元现金和雅虎中国的全部资产为代价，获得阿里巴巴集团40%的股份、35%的表决权和阿里巴巴集团董事会的一名董事席位。但经此交易成为阿里巴巴集团最大单一股东的雅虎，受与阿里巴巴、日本软银间的股东协议约束，严格保证马云与阿里巴巴管理层的独立自主权，因此正如当时有媒体称，雅虎在阿里巴巴的投资属于一种被动投资。

　　阿里巴巴的董事会完全受2005年签署的阿里巴巴、雅虎和软银三方股东协议的约束，股东的权力只通过董事会行使，董事会是最高权力机构。董事会成员是三方股东指派而不是选举产生的。董事会由4名董事组成，其中两名由阿里巴巴管理层指派，另两名董事分别由雅虎和软银指派。除一些特别规定的情形外，董事会的组成保持不变。雅虎中国成为阿里巴巴集团的一个全资子公司，话语权要通过阿里巴巴的董事会行使，除非股东协议另有约定。

　　股东协议规定，阿里巴巴和软银不得将其拥有的阿里巴巴股份转让给雅虎的竞争对手。雅虎给阿里巴巴列明一张不超过15名竞争对手的名单，在这张竞争对手的名单上，可以想见微软的名字一定会出现在前三名之内。雅虎还对阿里巴巴与雅虎的竞争对手在业务发展上作出一些限制性规定，同时授权阿里巴巴使用雅虎品牌和包括搜索技术在内的一些雅虎知识产权。

　　现在如果雅虎的竞争对手微软收购了雅虎，这样的情景变化将导致股东协议的一些重要条款无法继续履行。正是由于存在这样的契机，阿里巴巴才有可能通过法律途径与微软展开谈判，使原股东协议按阿里巴巴目前的意愿作出部分修改。或许辩护得当，阿里巴巴还有完全否决微软受让雅虎在阿里巴巴股权的可能，并以优先认购权为原则回购雅虎在阿里巴巴的股份。

　　另一条让微软难受或者甚至不能受让雅虎在阿里巴巴股权的途径是中国政府的态度。中国政府有理由对雅虎和微软持不同的看法、态度与立场，阿里巴巴则在很大程度上能够影响到中国政府批准或不批准微软收购雅虎的交易中涉及阿里巴巴的部分，毕竟阿里巴巴是当事人之一。

　　抛开法律与中国政府的途径不谈，假定阿里巴巴缺乏足够的法律依据来拒绝微软受让雅虎在阿里巴巴的股权，微软也获得了中国政府的许可，在这种情形下，微软在受让雅虎在阿里巴巴股权的同时，也相应受让了雅虎与阿里巴巴和软银签订的三方股东协议的权利与义务。

　　由于阿里巴巴的最高权力机构是董事会，微软既不能利用其最大股东的身份、也不能通过联合软银的办法来推翻阿里巴巴管理层占一半席位的董事会，因此微软仍然改变不了其在阿里巴巴的被动投资性质。

　　更麻烦的是，雅虎中国是阿里巴巴的全资子公司，雅虎被微软收购的事实，并不能改变雅虎中国的独立生存权利。于是一个戏剧性的场面出现了，微软在全球范围内把雅虎纳入麾下，在全球范围内消灭了雅虎这个竞争对手，但在中国，雅虎中国将继续拥有其法律权利作为微软的竞争对手而存在，只要阿里巴巴愿意。

　　于是，微软的MSN/WindowsLive继续在门户、搜索、电子邮箱与即时通讯等方面与雅虎中国发生竞争。更进一步来说，阿里巴巴集团中无论是对雅虎还是对微软来说最有价值的并不是雅虎中国，而是阿里巴巴在中国电子商务领域的龙头老大地位。不仅仅是微软的互联网业务，还包括微软的核心业务 ――软件本身，都可以从与阿里巴巴的合作中大受其益，尤其是当微软这个软件巨头也正在向软件即服务(SoftwareasaService)转变之际。

　　因此，只要阿里巴巴不甘心就范，只要阿里巴巴想从微软收购雅虎的事件中获取好处，微软就不得不从法律上、与中国政府关系上、未来中国市场的安排及与阿里巴巴的战略合作这几个方面与阿里巴巴展开谈判。

　　马云在多年前说过，阿里巴巴要进入世界互联网前三的位置。

　　而要参与世界互联网格局的制定，离不开与世界互联网巨头之间的竞争与合作关系。以前的竞争对手现在可以是合作伙伴，以前的合作伙伴也可能变成竞争对手。

　　微软恰好在这个时候出现了。不知道阿里巴巴的董事会和管理层是否同意，我相信微软是一个比雅虎有用得多的战略合作伙伴――如果微软摸对了阿里巴巴的心思、性格和脾气的话。

　　所以阿里巴巴与微软的谈判应该有两个预设的前提：一是认可微软接手雅虎，包括雅虎在阿里巴巴的被动投资权益，二是阿里巴巴要从中获取额外的利益。

　　阿里巴巴不只是要保持、而且是要获得更多的自主，包括取消当初的股东协议中对阿里巴巴国际化发展的一些限制性条款，甚至包括降低微软将要接手的雅虎在阿里巴巴中持有的股份在内。

　　总之，阿里巴巴有法律依据、中国政府审查权、中国市场安排与未来战略合作前景以及对收购进程的影响力这五个方面的谈判筹码，微软可能不得不向阿里巴巴作出必要的让步。
(文章由本报记者杨阳依据吕伯望口述整理，吕伯望系正望咨询总裁兼首席分析师)

http://www.sina.com.cn 2008年03月08日 10:45 经济观察报

--
^ - ^ 开心生活，开心工作
雅虎口碑（杭州）－－吴志敏
http://babatu.blogspot.com

与候磊的座谈

2008-10-20T15:46:00.004+08:00

下午和雅虎数据挖掘的leader进行了深入地座谈。了解了一下雅虎在这方面的工作，学习他们的在全网搜索方面的经验，也为我们口碑网更好地服务用户提供更好更强大的技术。

　　雅虎在全网方面已经建立了一整套全面的知识库体系，这方面口碑现在还没有深入，所以我们还是有很长的路要走的。开放、吸收、融合将是我们在阿里集团中现在阶段的方针。

　　现在口碑网在餐饮，房产等垂直搜索方面已经发展到一个阶段，为用户提供更好的体验，提供更多的数据，更体贴的查询，更友好的界面是我们一直在做的，也是永远要做的。

--
^ - ^ 开心生活，开心工作
雅虎口碑（杭州）－－吴志敏
http://babatu.blogspot.com

关于映秀北川地震的一些思考

2008-10-20T15:45:00.004+08:00

映秀北川大地震给中国人带来了极大的灾难，在这次天灾中死伤无数，是一场浩劫。在这次地震中，每个中国人都表示得非常好。一方有难八方支援，体现了中华民族的团结精神，也表示了极大的人道主义精神。在灾区人民自救，人民军队帮助及志愿者的共同努力下，使灾区的损失减少到最小，同时也极力挽救每一个可能被救回的生命。

每次打开网页，电视看到同胞受此大难，都忍不住眼含热泪。在这次大震中，政府及军队的反应速度和救援成效是要得到充分肯定的，同时每一位中国人也都申出援手，为中国人一起度过难关，为中国加油。昨天看了一个凤凰卫视的一个关于"唐山大地震预报"的记录片＜＜唐山大地震背后的真相＞＞，在唐山大地震发生前已经有很多单位和组织有过近震预报，但是当时的中国地震局并没有最后发出警告。记录片中是有真人真事的，有原先做出预报的专业地震工作人员也有群测群防人员，也包括了"唐山地震警示录"的作者。当时地震发生后，华国锋总理会见国家地震局的工作人员，并对地震局领导作出的无法预测及下面技术组长拿出之前的会商记录（意思是可以预报）没出作出任何意见。只是说不要地震局的人负责让他们安心回去好好工作！！！
所片中地震预报的工作人员回忆，80年代的一次会议中把周总理提出的"群测群防，土洋结合"的方针的方法，根据使用次声波、地应力、地电脉冲、大地微动等预测地震等方法是不科学的（片中的话可能记得不太正确，但之后的地震预报就真的成了地震局一家的事情了）。所以那位老人感慨地说中国地震预报从唐山地震后到现在是没有进步，反而退步了。对于唐山地震的发生，这些作出预报的工作人员都是很有感觉的。内心中的愧疚及气愩是可想而知的。
现在的映秀北川地震"汶川地震前征兆很明显：南宁地震局蛇碰撞"http://news.hexun.com/2008-05-21/106115555_1.html。也有这样的报导，如果以后历史再一次有一个真相发现的话，那真是令人痛心。但是应该说不是追究责任的时候，是救灾抗灾的关键时刻，是做好当前每一件事的时候。但是这里面在政府与科学家与民众之间是各自有一堵墙的，在地震前有前兆，但是没有发出警告，现在是真的发生了，所以大家可能会责怪政府及科学家。但是如果发出警告而不发生地震呢，也会责怪科学家和政府。所以现在防地震群众没有参与，这样的局面大家都不好做。
之前由于历史的原因，报周总理提出的预报方法否定；这算是一个学术之争。但是这三堵墙的问题就算是一个体制的问题了。是应该变一下了。
""""群策群防"方法应该引起重视在5月19日的香山会议上，一些权威专家指出，自己使用独特的方法对以前和本次的四川汶川大地震预测发挥了重要作用。比如使用次声波、地应力、地电脉冲、大地微动等预测地震，效果是非常明显的。高建国指出，"中国的整体思维的方法，对于预测大的地震有作用。"""" 19号的会议让人看到了更多的希望。希望中国以后的大地震可以把灾害减到最小。这是每个地震工作人员的事情，也是每个中国人应该做的事情。

--
^ - ^ 开心生活，开心工作
雅虎口碑（杭州）－－吴志敏
http://babatu.blogspot.com

中国加油！！！！

2008-10-20T15:45:00.003+08:00

今天在BBC新闻听到欧洲好几个国家都在举行集会，支持北京奥运，反对藏独，为中国加油！！！！

　　近来听到这么多西文国家对中国的扭曲事实的新闻报告，每个中国人都不能再汉字沉默了。在欧洲的留学生们纷纷组织起来发出自己的声音！

　　百年奥运，中国加油！！！！

--
^ - ^ 开心生活，开心工作
雅虎口碑（杭州）－－吴志敏
http://babatu.blogspot.com

忘记周末

2008-10-20T15:44:00.005+08:00

一周五天工作日的生活似乎还不太适应，虽然已经这样一个多个月了，但是现在总还是感觉一周五天过得太快了。到周六周日还是沉浸在工作中！似乎忘记了已经是周末了。
最近工作中的事情都是比较锁碎的，事情多而杂，而最近又学习了一下python,也快速地写了几个小程序。感觉不错，所以有点迷上了。一有点小想法就写点什么。所以思想总是处在高度兴奋之中！！周末都是这样，边上的女朋友都已经对我有很大意见了！！！接下来又要做搜索引擎的版本升级，又要大忙一段时间了。
这样下去是不行地！身体会受不了，总会生病的！所以还是想着去好好生活，好好工作！女朋友接下来想去学一下钢琴，所以我也要跟着去学点乐器什么的。或者和碧螺春去健身房。反正要去做一下程度之外的事情。

--
^ - ^ 开心生活，开心工作
雅虎口碑（杭州）－－吴志敏
http://babatu.blogspot.com

让你的ubuntu体验一下最新的firefox3.0rc

2008-10-20T15:44:00.004+08:00

最新的firefox3.0Rc已经出了好几天了，但是ubuntu默认的源还没有不能升级，所以要么手动下载来玩，要么这样：：

在你的软件源里加入这个源就可以了

deb http://ppa.launchpad.net/fta/ubuntu hardy main

sudo apt-get update firefox

--
^ - ^ 开心生活，开心工作
雅虎口碑（杭州）－－吴志敏
http://babatu.blogspot.com

我是怎样看到分类信息的

2008-10-20T15:43:00.005+08:00

近来雅虎口碑分类信息试用后，也结合自己互联网的一点认识，觉得分类信息的未来还是很不错的。

一.分类信息与中国互联网的未来
对于互联网的未来，不敢斗胆预测，但是个人比较认同威客witkey理论。从这个角度来说，互联网总是会越来越适合人的生活，总是会让生活越来越方便，这里的生活指得比广义，包括人的一切活动。就像各大互联网公司的slogan一样，比如"让天下没有难做的生意"，"生活好向导"等等。分类信息是WEB 2.0 的衍生物,实质上就是互联网中的产生者要传递给自己目标群体的信息。分类信息以内容编排精细化、及时、空间无限等特质，在大众生活及商务活动中备受关注和喜欢。在互联网的不断发展中，人们互相传递信息的成本会越来越小，传递的效果也会越来越好。所以在分类信息在未来一定会发展得很好。
二.分类信息的形式
分类信息的未来是美好的，但是它的发展形式并不一定就是现在盛形的几种模式。从它的定义中我们可以看出一点。分类信息天生就是会有很多种形式，因为它是继承信息这个概念的。比如，分类信息有重要程度之别，有是否要保密之别，是否紧急等等。从这个角度看去，一个用户在网上要卖一个商品，它可以去淘宝，也可以去一个论坛，相信也都可以卖成功。但是过程是完全不一样的。他都是想把这个信息传递给对自己商品感兴趣的人。但是通过不同的方法最后达到结果。在淘宝上有信用，有支付宝的支持，还有反馈，及售后服务（退换货等）。但是在传统的分类信息中，比如在论坛发个贴子，你会收到很多电话，信息虽然传出去了。但是后面的一系列的过程是不能保证的。所以可以这么说，淘宝是深挖分类信息的一个部分（交易信息），并做深做强。淘宝已经是一个成功的例子，所以在另一个方面（服务信息），雅虎口碑的做法：让提供服务的商家（可以是个人）在雅虎口碑上卖服务（部分服务是交易信息），信用和支付都会参考B2B做法。让大家在网上对于服务这个无形的商品可以像普通商品一样自由放心交易。这只是现在我对雅虎口碑新的分类信息的一点理解。因为雅虎口碑是打着分类信息的旗号，所以在其它任何一个可以深挖的地方都可以做。让每个人都可以在互联网上解决生活问题。
三.实现形式（搜索与引导）
由于自己一直从事搜索，对于在当前搜索垂直化，个性化的发展有一点自己的看法。对于商品交易，分类信息等的服务。搜索一直是被大家看好，它可以让用户直接到达，把用户的想法直接转化成结果展现。但是搜索是一个点出发，这个点的确定是非常重要的。如果用户无法把自己的想法转化成一个搜索关键词，或是转化错了。那用户体验是注定不会好的。所以另一种引导方式（包括分类别，打标签等）就起到非常重要角色了。两方式互补的最佳应用就是阿里B2B，淘宝的类目筛选，用户搜索一个词后，出现在第一页的第一屏中几乎全是类别筛选的链接。这种帮助人们快速得到信息的做法值得推荐。个人感觉，不要盲目依靠搜索，因为网民是五花八门的，不一定都会用搜索词来搜索，但是筛选是一个大家都会的使用方法。从一点上来说，由于雅虎口碑现在分类信息的规模还太小，现在还没有让用户找太久找不到的问题。但是这里有一个陷阱，如果这条信息的分类分错了，那么筛选是致命的，因为发信息的网民不一定对于网站的分类是认同的。
四.赢利模式
现在抢的是用户，抢的是地盘，但是最后总是要赢利的。对于淘宝，马云说赚钱太容易，对于容易的事情他不感兴趣。对于未来的雅虎口碑来说，赢利还是比较重要的，因为中国雅虎什么都经历了，但就是没有经历过成功。分类信息在中国发展实现井喷后，相信雅虎口碑可以抢点一个制高点，到时候可以从让发信息的人得到更好结果的角度来思考。结合阿里妈妈，卖点服务。当然这应该是一小部分。如果雅虎口碑可以拿下大部分的分类信息数据，加上淘宝，就这个数据也是不小的财富。相信到那个时候，赢利对于雅虎口碑也是容易的事情。

--
^ - ^ 开心生活，开心工作
雅虎口碑（杭州）－－吴志敏
http://babatu.blogspot.com

DFS文件读写

2008-10-20T15:43:00.004+08:00

在使用hadoop集群时，经常会要用到一个全局性的文件，或是一个hash文件或是一个词表等等。

HadoopDfsReadWriteExample

其实在DFS文件系统中读写文件与其它文件系统本质上是一样的。以下的这个例子就是从一个DFS中读出再写入到另一个DFS中。
Hadoop FileSystem API这个类就是用来做这个读写用的。
首选要用一个配置对象来产生一个 FileSystem 的对象。

Configuration conf = new Configuration();  FileSystem fs = FileSystem.get(conf);    Path inFile = new Path(argv[0]);  Path outFile = new Path(argv[1]);



先检验一下

if (!fs.exists(inFile))    printAndExit("Input file not found");  if (!fs.isFile(inFile))    printAndExit("Input should be a file");  if (fs.exists(outFile))    printAndExit("Output already exists");

首先是打开一个文件流：
FSDataInputStream in = fs.open(inFile);
再打开一个输出的文件流：
FSDataOutputStream out = fs.create(outFile);

从输入流中读入并输出到输出到流中

while ((bytesRead = in.read(buffer)) > 0) {    out.write(buffer, 0, bytesRead);  }

再把两个流都关闭

in.close();  out.close();

--
^ - ^ 开心生活，开心工作
雅虎口碑（杭州）－－吴志敏
http://babatu.blogspot.com

hadoop的冠军－－1TB的排序只用297秒

2008-10-20T15:42:00.002+08:00

3 and 1/2 minutes to sort a Terabyte, and a look at Hadoop's code structure

Apache Hadoop Wins Terabyte Sort Benchmark: "One of Yahoo's Hadoop clusters sorted 1 terabyte of data in 209 seconds, which beat the previous record of 297 seconds in the annual general purpose (daytona) terabyte sort benchmark. The sort benchmark, which was created in 1998 by Jim Gray, specifies the input data (10 billion 100 byte records), which must be completely sorted and written to disk. This is the first time that either a Java or an open source program has won."

Amazing. You can see the history of the benchmark here. Just as interesting is that this is a fraction of Y!'s capacity - they're running 13,000+ Hadoop nodes. What does it mean? I think that Hadoop is becoming an important piece of open source infrastructure for data processing, and potentially as a storage system in its own right. Core Hadoop development is highly active, with a string of associated projects building on it, such as Pig, Mahout, HBase, Hive, Cascading and Zookeeper.

I think Hadoop is an incredible project. Crudely you can split Hadoop into two parts - compute and storage. There's a lot more going on than that of course - metrics, scheduling, job tracking and so on, cool stuff that doesn't get as much publicity as the map/reduce feature, such as the ability to be rack aware and potential features like pause/resume - the totality of what Hadoop does is amazing. Ideally then, if you buy into the fundamental data/compute split, there'd be clean layering - for example the filesytem layers would have no upward dependency on the map/reduce layer, which is a processing library.

I've been digging around the Hadoop code recently; I used Structure 101 from the folks at Headway Software to help me scan the codebase and its package architecture. Aside from being a good way to get my head around Hadoop's innards, the results were interesting. The basic code metrics:

Packages (that contain classes): 58
Classes (outer): 611
Classes (all): 1,246
LOC (Non Comment Non Blank Lines Of Code): ~118K

first off, that's a much smaller LOC than reported at Ohloh, almost half. Still, it's a fair chunk of code.

Here you can see Hadoop's top level package structure:

Those arrows that look like air traffic routes indicate cyclic dependencies amongst packages. The immediate thing that jumps out at this level is the the fs.* package has cyclic dependencies with 8 other packages. Here's a drilldown that gives a bit more detail on the fs package:

Cross package dependencies seem like an abstract concern but are useful to know about as they tend to hamper developer productivity and can become problematic as the code grows. I have to point out though that these packages are not seperate distributables today so this is purely an observation on the structure and can't really be a critique of the design intent. Speaking of distributables, we can also look at the what in Robert C. Martin's terms is the "unit of reuse" in Hadoop by looking for the largest cycle, or "tangle" in the code. The largest tangle is pretty big, traversing 11 packages. Here's a matrix view of that tangle:

and the structural view (it's very dense, you'll probably want to click through to see any detail):

What this suggests is that maroon box is probably the smallest unit of release in Hadoop core at the moment. [As an aside, I think it would be very hard to detect that purely looking at code, which is why code analysis tools like Structure 101, JDepend, SonarJ as used by SpringSource, et al are very handy for understanding large or unfamiliar codebases. Spring's code for example is known for being cycle free and doing a fine job of managing complexity.]

So that's a glance at the superstructure. Let's look at "complexity". Here's the package structure.

The red/blue bars above indicate the level of complexity - more blue meaning less complexity. What's meant by 'complexity' here? Well, Robert C. Martin defined a number of measures for OO code years ago that are the basis for a number of code analysis tools today - for example, Mike Clark's JDepend uses Martin's figures such as afferent coupling directly, and the red/blue line above is "XS" which is a variant that Structure 101 uses. Anyway, the chewiest areas of the code in terms of measurable complexity are clearly the mapred and hdfs packages.

Most of the structural complexity in hdfs is in the namenode package, and almost wholly located in the FSNamesystem class, which is a 4400 line long beast.

FSNamesystem is an important part of the Hadoop runtime as it watches the DataNodes, along with machine lists and heartbeats. Arguably it wants to become a package and there's been some recent activity to restructure the hdfs package. Sometimes I think Java classes like these don't get split out in OSS projects because a) they work as they are and b) that kind of refactoring makes it harder to diff and backport changes across branches.

The mapred complexity is spead out and so has a bit more to it:

TaskTracker and JobTracker are big classes, about 2500 lines each. Like FSNamesystem they're important classes - they track map reduce tasks and job submissions respectively. Interestingly JobConf, which is where these jobs are configured, has very low complexity, but has a cycle going outside the mapred. You can see mapred's internal dependencies below (click through for more detail):

So, it's always worth keeping an eye on the internal complexity of code as a project evolves, but is any of this actually a problem for Hadoop? Probably not right now - Hadoop's already widely deployed and proven at thousands of nodes. It's young for an infrastructure project - the next version will still only be 0.18.0. And let's not forget it can chew through a Terabyte of data like nothing else. As Martin Fowler suggests in DesignStaminaHypothesis, when and how much design to invest is a matter of tradeoffs:

Rather, the single biggest problem I've had coming to Hadoop and wanting to understand its internals is the test cycle, which can take hours to complete. All the structural state of the codebase today suggests is that it'll need to see some refactoring as the project evolves, hopefully splitting out the file system from the processing/compute layers.

July 6, 2008
Posted by: dehora

我看互联网的云

2008-10-20T15:41:00.002+08:00

--
^ - ^ 开心生活，开心工作
雅虎口碑（杭州）－－吴志敏
http://babatu.blogspot.com

看百度有啊如何迈过三道槛

2008-10-20T09:39:00.001+08:00

近期国内最热的互联网新闻就是百度推出电子商务平台有啊。对此，阿里巴巴主动出击，封杀百度爬虫。而另一个对手，腾讯则是默不作声。

　　珍爱网CEO李松先生曾经为我阐释过百度的盈利模式，说"竞价排名是完美的，一种主动趋近于行业盈利平衡点的可持续消费的盈利模式。"

　　可是，当电子商务与搜索联姻，裁判员与运动员一同竞技，故事会如何发展呢？

　　我曾经分析过有啊与淘宝的盈利模式，同属于竞价排名。从这点而言，有啊无疑是穿上电子商务外衣的搜索业务，淘宝百度之争不过是搜索引擎之争。且不看马云调集的50亿，我们分析一下百度目前存在的三大困难，看百度如何迈过这三道槛：

　　第一道槛：如何解决供应商数量问题。

　　这个问题的解决方案有两个：人海战术、呼叫中心。人海战术的缺陷是产值低、利润率低、难以做出规模。因此，真正的互联网平台都采用了呼叫中心方式，采用电话营销作为利器。呼叫中心解决了效率问题，但是，硬件投入巨大，成为企业沉重的负担。

　　从当前情况看，我国互联网仍处于普及率低下，中小企业缺乏网络营销意识的阶段。这更是雪上加霜。

　　对这个命门，阿里巴巴设置了障碍：淘宝封杀爬虫。百度如何应对？我们拭目以待。

　　第二道槛：如何解决线上沟通问题。

　　在网络营销过程中，线上沟通是不可缺少的手段，直接影响到成单率。似乎，这是腾讯的地盘，数以亿级的忠实用户数使得马化腾羽扇轻摇，隔岸观火。

　　李彦宏绝非等闲之辈，上半年推出了百度hi，似乎胸有成竹。在即时通讯领域的竞争，其实关乎电子商务的厮杀！

　　第三道槛：如何解决社区分享的问题。

　　互联网的实践告诉我们：搜索是1，分享是10甚至更多。我的实际数据告诉我，做好一个社区的网络营销远比购买一个主题词的收益大。而业界共识是，社区呈碎片化分布，永远不会一家独大。

　　百度贴吧确实是不错的社区，但绝对不是社区的解决方案。

　　百度能否一统江湖？我们先看这三道槛！

　　转载请注明作者：梦里秦淮（http://blog.sina.com.cn/mlqh365）

--
^ - ^ 开心生活，开心工作
http://babatu.blogspot.com

能量种子

2008-10-18T15:31:00.001+08:00

电池每个人都会用到，从大到小，而这个小东西在自然界是很难被降解的，每年都是千万顿被埋在地下，对自然的破坏很严重!!!如果集中处理会好些，最重要的是少用点，不要乱扔。这个"能量种子"Energy Seed的LED灯可以让大家不要浪费最后的一点能量，并能收集能量。

Designer: Sungwoo Park & Sunhee Kim

--
^ - ^ 开心生活，开心工作
http://babatu.blogspot.com

不怕水的nokia

2008-10-18T15:22:00.001+08:00

不错的设计，不怕水，直的不怕水!!!

Nokia, phone, Rune Larsen

--
^ - ^ 开心生活，开心工作

变色镜

2008-10-18T15:15:00.001+08:00

Designer: Luís Porém

想自己的眼镜天天不一样吗？

对于时尚的你这个设计实在少不了!!!

--
^ - ^ 开心生活，开心工作

超级电脑锁

2008-10-18T15:12:00.001+08:00

Designer: Tino Dobra

这个设计可以让你的电脑只有你自己才可以用!!!

希望不要伤到自己!

--
^ - ^ 开心生活，开心工作

搞懂python 编码

2008-10-17T16:59:00.001+08:00

因为非英语国家，在python的使用过程中，经常会经常编码问题而卡住！！！
所以搞懂python的编码体系和本质是很重要的。

对 Python 编码的理解：

几个概念性的东西
ANSCII:
标准的 ANSCII 编码只使用7个比特来表示一个字符，因此最多编码128个字符。扩充的 ANSCII 使用8个比特来表示一个字符，最多也只能编码 256 个字符。

UNICODE:
使用2个甚至4个字节来编码一个字符，因此可以将世界上所有的字符进行统一编码。

UTF:
UNICODE编码转换格式，就是用来指导如何将 unicode 编码成适合文件存储和网络传输的字节序列的形式 (unicode -> str)。像其他的一些编码方式 gb2312, gb18030, big5 和 UTF 的作用是一样的，只是编码方式不同。

Python 里面有两种数据模型来支持字符串这种数据类型，一种是 str，另外一种是 unicode ，它们都是 sequence 的派生类型，这个可以参考 Python Language Ref 中的描述：

Strings
The items of a string are characters. There is no separate
character type; a character is represented by a string of one item.
Characters represent (at least) 8-bit bytes. The built-in functions
chr() and ord() convert between characters and nonnegative integers
representing the byte values. Bytes with the values 0-127 usually
represent the corresponding ASCII values, but the interpretation of
values is up to the program. The string data type is also used to
represent arrays of bytes, e.g., to hold data read from a file.

(On systems whose native character set is not ASCII, strings
may use EBCDIC in their internal representation, provided the
functions chr() and ord() implement a mapping between ASCII and
EBCDIC, and string comparison preserves the ASCII order. Or perhaps
someone can propose a better rule?)

Unicode
The items of a Unicode object are Unicode code units. A
Unicode code unit is represented by a Unicode object of one item and
can hold either a 16-bit or 32-bit value representing a Unicode
ordinal (the maximum value for the ordinal is given in sys.maxunicode,
and depends on how Python is configured at compile time). Surrogate
pairs may be present in the Unicode object, and will be reported as
two separate items. The built-in functions unichr() and ord() convert
between code units and nonnegative integers representing the Unicode
ordinals as defined in the Unicode Standard 3.0. Conversion from and
to other encodings are possible through the Unicode method encode()
and the built-in function unicode().

这里面是这么几句：
"The items of a string are characters", "The items of a Unicode object
are Unicode code units", "The string data type is also used to
represent arrays of bytes, e.g., to hold data read from a file."
一二句说明 str 和 unicode 的组成单元(item)是什么（因为它们同是 sequence ) 。sequence 默认的__len__ 函数的返回值正是该序列组成单元的个数。这样的话，len('abcd') == 4 和 len(u'我是中文') == 4 就很容易理解了。
第三句告诉我们像从文件输入输出的时候是用 str 来表示数据的数组。不止是文件操作，我想在网络传输的时候应该也是这样的。这就是为什么一个unicode 字符串在写入文件或者在网络上传输的时候要进行编码的原因了。

Python 里面的编码和解码也就是 unicode 和 str 这两种形式的相互转化。编码是 unicode -> str，相反的，解码就是 str -> unicode。

下面剩下的问题就是确定何时需要进行编码或者解码了，像一些库是 unicode 版的，这样我们在将这些库函数的返回值进行传输或者写入文件的时候就要考虑将它编码成合适的类型。

关于文件开头的"编码指示"，也就是 # -*- coding: -*- 这个语句。Python 默认脚本文件都是 ANSCII 编码的，当文件中有非 ANSCII 编码范围内的字符的时候就要使用"编码指示"来修正。

关于 sys.defaultencoding，这个在解码没有明确指明解码方式的时候使用。比如我有如下代码：

#! /usr/bin/env python
# -*- coding: utf-8 -*-

s = '中文' # 注意这里的 str 是 str 类型的，而不是 unicode
s.encode('gb18030')

这句代码将 s 重新编码为 gb18030 的格式，即进行 unicode -> str 的转换。因为 s 本身就是 str 类型的，因此Python 会自动的先将 s 解码为 unicode ，然后再编码成 gb18030。因为解码是python自动进行的，我们没有指明解码方式，python 就会使用 sys.defaultencoding 指明的方式来解码。很多情况下 sys.defaultencoding 是ANSCII，如果 s 不是这个类型就会出错。
拿上面的情况来说，我的 sys.defaultencoding 是 anscii，而 s 的编码方式和文件的编码方式一致，是 utf8 的，所以出错了:
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position
0: ordinal not in range(128)
对于这种情况，我们有两种方法来改正错误：
一是明确的指示出 s 的编码方式

#! /usr/bin/env python
# -*- coding: utf-8 -*-

s = '中文'
s.decode('utf-8').encode('gb18030')

二是更改 sys.defaultencoding 为文件的编码方式

#! /usr/bin/env python
# -*- coding: utf-8 -*-

import sys
reload(sys) # Python2.5 初始化后会删除 sys.setdefaultencoding 这个方法，我们需要重新载入
sys.setdefaultencoding('utf-8')

str = '中文'
str.encode('gb18030')

--
^ - ^ 开心生活，开心工作

一张很酷的图

2008-10-17T13:02:00.001+08:00

挂在墙上很不错

Was doing mathematical induction while studying for my math paper this morning. It was mindnumbingly boring and repetitive.
No idea why it inspired me to do this cluttered piece in red and black, though. But here it is, a wry and slightly out of the ordinary piece on the process of mathematical induction. (:
Damn. This must be the most random piece I've done in a while. O.o

Fonts: Myriad Web, Euclid Symbol, Euclid Math Two

--
^ - ^ 开心生活，开心工作

徒步旅行者的个人概念电脑

2008-10-16T22:23:00.001+08:00

这个"徒步旅行者的个人概念电脑"就像书一样可折叠，携带非常方便，功能也相当的丰富。

它无需外部电源供电，直接采用太阳能供电，解决了使用中最大的问题"电源"。翻开书的其中一页就是一盏灯，它可以简单的照明，使用一个晚上没有什么问题。另外还有个随身的配件，可随时了解时间、日期，还内置了麦克风和摄像头，无线连接个人概念电脑。当然其主要的功能还是一台电脑，无线上网、Email、电子地图、GPS等等功能。

很薄很轻，携带方便。

太阳能充电，在野外不用担心没电

还可以作为夜用灯

[发现地：techeblog]

--
^ - ^ 开心生活，开心工作

街道上的艺术

2008-10-16T13:28:00.001+08:00

下面的这些作品全部由彼得吉布森（又名roadsworth ）创作而成，他从2001年开始在加拿大蒙特利尔的街道上创作这些作品，主要目的是呼吁人们少买汽车多使用自行车这种没有废气排放的工具，提升城市生活质量。

　　2004年的秋天，彼得吉布森被逮捕了，罪名是扰乱城市秩序，因为这个是不合法的，他不得不在夜间进行创作，据说有54处马路标志被他涂抹过了。尽管他可能比较严重的触犯了当地的法律，但人们都了解他的良苦用心，所以联名上书请求减轻他的罪行。从那时起，他就变得出名起来，经常收到一些邀请函请他去创作……（Crab_Song对此亦有贡献）

--
^ - ^ 开心生活，开心工作

中国山寨版诺贝尔奖

2008-10-16T13:22:00.001+08:00

感谢油条"dolphin"分享中国山寨版诺贝尔奖。08年诺贝尔奖与另类诺贝尔奖获得者已于近日出炉，吸引了大家不少眼球，并引发了新一轮的讨论。08年，中国也涌现了不少很好很强大的人物，网友们一一为他们颁发了各个领域的"山寨版诺贝尔奖"！

山寨版诺贝尔生物学奖获奖者：周正龙
获奖理由：农民周正龙发现了在陕西早已绝迹的华南虎，拍下了清晰的虎照，并荣登美国《科学》杂志。

经典语录：
"我敢用脑袋担保，照片是真的!"
"要是照片有假，当场把我头砍掉!"
"我姓周的从不说假话。"
"我的照片是经过省林业厅鉴定的。假的我坐牢。"
"照片是我用生命换来的。"

山寨版诺贝尔文学奖获奖者：赵丽华
获奖理由：开创梨花体，让有着"诗的国度"的中国不得不重新认识什么才是诗。

诗歌摘录：《我坚决不能容忍》
我坚决不能容忍/那些/在公共场所/的卫生间/大便后/不冲刷/便池/的人。

《一个人来到田纳西》：毫无疑问／我做的馅饼／是全天下／最好吃的

山寨版诺贝尔经济学奖获奖者：徐滇庆
获奖理由：去年7月11日，中国经济研究中心兼职教授徐滇庆表示："我们不妨再豪放一点――如果明年深圳房价比现在低一分钱，我一定在媒体上用整版篇幅向深圳市民道歉。"结果徐教授做到了。

经典语录：
"深圳房价上涨理由充分，在目前阶段房价上涨利大于弊，是好事。"
"今年夏天房价会有暴涨期。"
"我说的话还错在没有估计到在美国次级债的影响下会产生如此严重的信心危机。"

山寨版诺贝尔考古学奖获奖者：纪连海
获奖理由：纪连海考证出了大禹治水三过家门而不入的真正原因是婚外情。

经典一刻：百家讲堂知名学者纪连海在上海一电视台的《文化中国》栏目上称，大禹之所以会"三过家门而不入"，不是为公，而是因为他有了婚外情。纪称，大禹的生命中还有另外一个女人――瑶姬，瑶姬将定情信物"红宝书"给大禹，帮助大禹治水成功。

山寨版诺贝尔医学奖获奖者：李银河
获奖理由：李银河研究员发现：同性恋并不是艾滋病的主要传播渠道，异性恋才是。

经典语录：
"一切东西都应该要丰富多彩。如果家庭都只是一夫一妻这个模式，反而显得过于单调。"
"禁止乱伦最初只是从遗传角度上来考虑，防止人种的退化。乱伦是不涉及道德方面的问题的。在我看来，只要承诺他们不生育，完全可以让他们结合。"

山寨版诺贝尔物理学奖获奖者：刘翔"零阻力"比赛服设计师
获奖理由：其专门为刘翔设计生产出了一种几乎"零阻力"比赛服。据称，这件比赛服的阻力要比刘翔在雅典奥运会上穿的低7%，相当于一名短跑运动员跑快了0.02秒。可惜的是刘翔在北京奥运会上出师未捷身先伤，这一高科技比赛服未能派上用场。

"零阻力"比赛服简介："零阻力"比赛服是特为刘翔参加北京奥运会量身打造的，"零阻力"比赛服设计团队为刘翔设计了19双不同重量的鞋子，供刘翔试穿。

--
^ - ^ 开心生活，开心工作

张富贵的漫画

2008-10-16T13:14:00.001+08:00

　　关于当代街头"行为艺术"，偶正在整理文字版，由于篇幅巨长，所以请大家做好心理准备，先欣赏一下来自张富贵的漫画版。这里是他的博客，请猛烈点击！
　

--
^ - ^ 开心生活，开心工作

向左转，向右转

2008-10-16T13:12:00.001+08:00

　　下面这个个Flash动画的创造者叫Kayahara，是一个日本MM，点这里进入她博客。
　　点击"stop"上方的两个按钮，然后看美女的眼睛，这样你就很容易看到她怎么转了！

--
^ - ^ 开心生活，开心工作

吴楚狂生

高端？低端？谢谢！

e-say英语测试结果

孩子上网是爸爸管还是妈妈管？

转，大话西游，英语版

twisted学习笔记1

有感于百度“老人搜索”

产品的力量

新医改摈弃市场化路线回归公益本性

新医改摈弃市场化路线回归公益本性

新医改摈弃市场化路线回归公益本性

新医改摈弃市场化路线回归公益本性

今日又结婚咯

发现一个不错的首页自定义网站

linux中管道使用一例

收集一下vim中删除的命令

查看apache http 连接情况

北京一游

美丽老婆

要结婚了

批量修改文件名

Python线程编程

推荐一个集成的python框架--pinax

About Pinax

一天怎么过？

危机中的几点建议--早报网

今年毕业生找工作

27个在学校学到不到的能力

值得一读

一些平时没有想通的问题

用最简洁生动的方法讲解了次贷危机和A股股民

中央武院

用加法实现减法

linux系统查看命令

8种互联网动物

nutch0.9, 性能大为提升。

在BtoB学习的一个来月

Spirit+lucene+nutch

nutch插件加载机制

linux sed 批量替换多个文件中的字符串

windows下的hadoop的分布部署

个人常用的VIM命令列表

为log4j增加自定义级别

Hadoop -- Map-Reduce具体实现详解

Nutch Crawler工作流程

Nutch Crawler工作流程及文件格式详细分析

Nutch的Analysis包详解

nutch的cache策略及cache策略研究

Nutch距离一个商业应用的搜索引擎还有多远

走着骑的自行车

外国人设计的“鸟巢”

可以让你放心自由漫步野外的棒子

收集一些googled面试题

这是谁？

说说戒烟

淘宝B2C

基于用户行为分析的搜索引擎质量评测

YAHOO!被收购--帝国的没落

lucene2.3存储格式说明

让质量成为用户来口碑网的主要原因

阿里巴巴是微软收购雅虎事件变数

与候磊的座谈

关于映秀北川地震的一些思考

中国加油！！！！

忘记周末

让你的ubuntu体验一下最新的firefox3.0rc

我是怎样看到分类信息的

DFS文件读写

HadoopDfsReadWriteExample

hadoop的冠军－－1TB的排序只用297秒

3 and 1/2 minutes to sort a Terabyte, and a look at Hadoop&apos;s code structure

Tags:

我看互联网的云

看百度有啊如何迈过三道槛

能量种子

不怕水的nokia

变色镜

超级电脑锁

搞懂python 编码

一张很酷的图

3 and 1/2 minutes to sort a Terabyte, and a look at Hadoop's code structure