Jul 15 2008

Hadoop 笔记(1)

Category: 技术ssmax @ 20:57:27

晚上花了两个小时看了一下,先配置起来,貌似很大型的一个东西

先配置了 Pseudo-Distributed Operation 模式,就是伪分布式,所有都是在本机执行

一步步按照quickstart来配置,但是启动的时候,懒得配置sshd,所以要修改启动脚本才能实现:

./bin/slaves.sh

# ssh $HADOOP_SSH_OPTS $slave $”${@// /\\ }” \
#   2>&1 | sed “s/^/$slave: /” &
SLAVE_SCRIPT=${@// /\\ }
bash -c “$SLAVE_SCRIPT”

starting namenode, logging to /home/ssmax/hadoop-0.17.1/bin/../logs/hadoop-ssmax-namenode-gz63-238.i.netease.com.out
starting datanode, logging to /home/ssmax/hadoop-0.17.1/bin/../logs/hadoop-ssmax-datanode-gz63-238.i.netease.com.out
starting secondarynamenode, logging to /home/ssmax/hadoop-0.17.1/bin/../logs/hadoop-ssmax-secondarynamenode-gz63-238.i.netease.com.out
starting jobtracker, logging to /home/ssmax/hadoop-0.17.1/bin/../logs/hadoop-ssmax-jobtracker-gz63-238.i.netease.com.out
starting tasktracker, logging to /home/ssmax/hadoop-0.17.1/bin/../logs/hadoop-ssmax-tasktracker-gz63-238.i.netease.com.out

 

namenode/datanode/secondarynamenode/jobtracker/tasktracker 全部启动了,才算成功,一开始datanode没有起来,搞了很久,都是could only be replicated to 0 nodes, instead of 1错误。。。

起来了以后就可以用./bin/hadoop dfs xxx来搞嘢。。。明天继续。。。


Jul 15 2008

80后网友依赖搜索引擎不记忆不思考

Category: 乱up当秘笈ssmax @ 16:57:19

转自http://tech.sina.com.cn/i/2008-07-15/08252326725.shtml

  实习生 彭颖

  从早上一睁眼开始,去哪儿吃早饭,坐哪儿路车,文案怎么写,作业怎么做,下班放学之后去哪K歌,明星们的八卦,哪个牌子的化妆品更适合自己,身体突然出现的小毛病,电影里的小细节,甚至是回家途中偶然遇到的那只猫的品种都成了内心永远比外在火热的“80后”搜索的对象。

  最近,一篇名为《“80后”通病》的帖子在各大论坛上火热转载着,因其准确的概括引起了“80后”强烈共鸣。其中一个“症状”就是:

  “不问问题,相信百度和谷歌的权威,多数人喜欢用搜索引擎思考,将搜索引擎作为自己的智囊。”

  知之为知之,不知搜了便知

  网友progame在一篇博文中这样描写自己被网络引擎控制的生活:“今天在乐购超市看到猜灯谜活动,以我的智商,看了半天,好像一个也猜不出,因为对于这种东西我们现在已经丧失了探索的兴趣和钻劲了,管它什么谜,google一下吧,因为出谜的人也是智商有限,买本书或者随便网上找找应付应付,那么猜谜的我们呢,自然也是google google。”根据中国互联网络信息中心公布的“2007年搜索用户分布图”显示,有将近80%的用户年龄段分布在18岁~40岁之间。其中18岁~24岁,即“80后”所在的用户群组所占比例最高,已经达到37.84%。

  1985年出生的小杨,网龄8年,目前正在澳大利亚麦考瑞大学攻读会计专业的硕士学位。那篇帖子里大部分“症状”他都符合,用他自己的话说就是“准典型性‘80后’”。对于搜索引擎,他“依赖并且享受着”。

  小杨还向记者说起他最近的有趣经历:“那天晚上,我像平时一样打开电脑,开始浏览国内的论坛,准备畅快地‘潜水’,突然间,满眼的‘俯卧撑’让我觉得我仿佛是来自另外一个星球的。同屋的室友也跟我一样,满头雾水。我顿时就慌了,手忙脚乱地打开百度。等到答案出来的一刹那,有一种醍醐灌顶的感觉。”

  对于这种依赖,他很无奈地说:“产生依赖固然不好,可是我实在无法忽视它带给我的方便。”

  闷骚爱“闷搜”

  如果使用搜索引擎也像练武功那样有个功力强弱之分,那网友progame和小杨充其量也就算正在修炼中的“令狐冲”,而“岳不群”们早就宣布自己已经达到了“三不境界”:不记忆任何资料、不思考任何问题、不撰写任何文案。

  对于这样的现象,专家们也曾不止一次地表达过异议和忧虑。但“80后”似乎有着自己的“偏执”。

  一篇名为《“80后”:我们的幸福生活在哪里》的网文这样写道:

  “多元化的文化和思潮扑面而来,我们眼花缭乱,必须要迅速吸收、消化、排毒、恢复,没有什么精神导师的指引。各种媒介抛给我们真真假假的信息。新闻里整日播放着让时代蒙羞的事件。‘大人’和书本早已不能解答我们大多数的问题。”

  而根据笔者对华中某高校新闻传播学院大四毕业生和研一学生进行的一次调查显示,调查对象分布于21岁~25岁之间,即“80后”所在人群。他们93%以上都是独生子女,凡事都习惯独自分享和承担,但在内心深处很渴望交流和沟通。浮躁、迷茫、孤独、自信、自卑和无奈等情绪在他们描述自己的心理状况和对未来的打算时体现得较为明显。研一学生薇薇在调查中说:“父母总是觉得我很优秀,我在他们面前也比较自信。而现在马上要面对社会了,我又觉得我特别渺小。这种落差很大。”

  也正是因为这种集自信和自卑于一体的矛盾情绪,让“80后”渴望交流却难以向别人敞开心扉。用一句流行的话说就是属于闷骚型的。小杨在采访中告诉记者:“有时候很想跟别人聊一聊,但总怕自己这么主动会让人家觉得奇怪,而且我说了他们也不见得会理解,这样反而失去了交流的意义,所以就打消了这个念头。要是真的有问题不懂的话,也是直接去网上搜索更方便、准确。问别人很麻烦,而且他们也不见得很清楚啊。”

  所以,当闷骚的“80后”遇到了科技时代的信息大爆炸,他们选择把脑袋里涌动着的问号通通交付给“威力强大”的搜索引擎,默默地享受着那一次次的“醍醐灌顶”。

  “天下”不是搜出来的

  有限的大脑让无限的搜索引擎成了漫画书中多拉A梦的“任意门”,页面一换就是另一番崭新的天地,想去哪里就去哪里。但依靠它“一网搜天下”的“80后”,思维却逐渐趋于简单化。许多人开始放弃文字,用涂鸦、视频、图片等直观的方式来记录自己的生活。

  合肥工业大学计算机专业毕业生刘同学认为:“‘80后’遇到问题的第一反应就是去搜一下,很少有人去找专业书籍了解。然而,网络现在只是很全面,但并不是很深入。搜索引擎提供的信息内容大多都流于表面,并不能深入地解决问题。”

  目前,网络上已经出现专门针对搜索引擎的网络写手。这些网络写手有意设计出让搜索引擎便于发现的信息,如大量重复的关键词、用户不可看到的文字、错误的链接等等,通过这种方法吸引更多的人浏览他们服务的相关网站,让网站获得更多的广告收入。这些内容统统都被称作“搜索引擎垃圾信息”。

  于是刹那间泥沙俱下。一旦打开搜索引擎,有用的、没用的一齐冒了出来,叫人难以甄别。

  如此看来,以正确的态度对待搜索引擎才是“80后”使用它之前应该掌握的最重要的技能,而不是如何科学、准确地设置关键词。

  链接

  测测你是否有搜索引擎依赖症

  1.当别人向你请教一个问题,你10秒内无法想出答案时,你是否会回答去网上搜索一下?

  2.当你在写一篇文档(包括中文和英文文档),需要斟酌某个字句时,你是否会打开搜索引擎寻找答案?

  3.当你挂在网上无所事事的时候,你是否会打开一个搜索引擎的页面发呆或随便在里面输入一个想到的词随意搜索?

  4.当你看到一个网站的广告时,你是否基本不去留意网站的网址,而只是记住网站的名称留待以后需要的时候搜索一下?

  5.当你需要编写一个格式报告(例如年终总结、毕业论文、会议论文)时,你是否会先搜索一些范例并参照编写?

  6.当你的头脑里冒出一个可能让你发财的新想法时,你是否会赶紧上网搜索一下看看是否已被别人捷足先登了?

  7.如果你马上要和别人就一个你并不熟悉的领域进行讨论时,你是否会赶紧先搜索一把,储备足够的背景知识,然后出动?

  8.当你即将奔赴一个陌生的地方,你是否会先打开搜索引擎页面,查阅当地的地理人文、风俗习惯,然后再启程?

  9.当你被突然问到一个复杂的问题时,你的头脑中是否会冒出若干个关键词,而非连续的句子?

  10.你是否经常有这样的感觉:凡是我想到的,别人都想到了;凡是我想知道的,一定有人知道答案?

  让我们来看看你的得分(凡回答是的,请加1分,回答否的,不加分):

  10-8分:你已经染上严重的搜索引擎依赖症。

  7-5分:你已经具有搜索引擎依赖症的典型症状,并逐渐走向搜索引擎症的黑洞。

  4-1分:你还保持有原始部落的求生技能,脱离搜索引擎你还可以过正常的生活。

 

转者:偶就是这样的人,基本依靠搜索引擎,因为一个人基本不可能知道这么多东西,就工作上面的东西,一个java就够你学一辈子而且还肯定记不住的。。哈哈


Jul 15 2008

Apache Hadoop & HBase

Category: 技术ssmax @ 13:08:51

忙完这一轮一下步就要看这个了。。。分布式文件系统

看说明是仿照Google的GFS和BigTable设计的,基本别人的功能它都有,难道我们要自己写一个出来???。。。

What Is Hadoop?

The Apache Hadoop project develops open-source software for reliable, scalable, distributed computing, including:

  • Hadoop Core, our flagship sub-project, provides a distributed filesystem (HDFS) and support for the MapReduce distributed computing metaphor.
  • HBase builds on Hadoop Core to provide a scalable, distributed database.

HBase is the Hadoop database. Its an open-source, distributed, column-oriented store modeled after the Google paper, Bigtable: A Distributed Storeage System for Structured Data by Chang et al. Just as Bigtable leverages the distributed data storage provided by the Google File System, HBase provides Bigtable-like capabilities on top of Hadoop.

HBase’s goal is the hosting of very large tables — billions of rows X millions of columns — atop clusters of commodity hardward. Try it if your plans for a data store run to big.


Jul 15 2008

Nero 的序列号

Category: 乱up当秘笈ssmax @ 13:02:33

用了这么多年第一次听到这种说法,记录下来回头试试。。。

众所周知,Nero 中存在 有效/无效 两种序列号。输入无效序列号可以被接受,但是NERO会随机刻出坏盘。

大家可以在 DOS 下通过 nerocmd –listdrives 命令验证你的序列号是否能够通过认证,大家在注册的时候尽量使用已经通过认证的序列号,并不是所有通过注册机生成的序列号都可以通过验证,希望能够引起大家注意!nerocmd 是查注册号有没有通过认证的命令,默认安装的情况下,它在c:\program files\ahead\nero\core 文件夹下。只要在windows环境下打开类dos的窗口,进入到nero目录后执行命令nerocmd –listdrives则可检测,如果提示结果为ok即注册号真正通过认证,如果是其它则需要换注册号了。注意输入命令时nerocmd后面跟一个空格及不能省略那两个减号。