zdg/

共4个网摘 [ 1 ] | 访问zdg的个人空间

1 雅虎架构师谈MapReduce和Hadoop的未来

zdg收录，使用标签：MapReduce, Hadoop, Yahoo, Architecture，时间：2008-3-20 11:37:16 | 相关网摘，我也收藏

Hadoop是一个开源的分布式计算平台，它主要由MapReduce的算法执行和一个分布式的文件系统等两部分组成。InfoQ曾经刊登过一篇Jeremy Zawodny写的有关Hadoop速度提升的综述性文章。这次InfoQ的资深Java编辑Scott Delap和Hadoop项目负责人Doug Cutting进行了一次专访。在这次InfoQ的专访中，Cutting论述了Hadoop是如何在Yahoo中被使用的，以及Hadoop发展中遇到的挑战和Hadoop项目未来的发展方向。

http://www.infoq.com/cn/articles/hadoop-interview

1 Yahoo! 与 Hadoop

zdg收录，使用标签：Yahoo, Hadoop，时间：2007-11-15 17:55:45 | 相关网摘，我也收藏

Yahoo! 或许早意识到自己的 Web 1.0 方式下的计算能力比 Google 差的太远，干脆放手一博，助力 Hadoop 项目，期望能借助开源的力量与 Google 掰一下手腕。从这里我们得知 Yahoo! Hadoop 团队早在 06 年就成立了，当然，这个团队成立的前提是 Doug Cutting 入职雅虎。

http://www.dbanotes.net/opensource/yahoo_hadoop.html

1 InfoQ: 类似Google构架的开源项目Hadoop近获社区关注

zdg收录，使用标签：Hadoop, MapReduce，时间：2007-9-19 18:37:35 | 相关网摘，我也收藏

Zawodny去年一直工作于提供数据排序的基准评测，在测试中，每一个节点都对相同总和的输入数量进行排序。假如有20个节点，每个节点有100条记录，那么就有2000个记录需要排序；当有100个节点时，每个节点有100条记录，那就总共有10000条记录。下面是最近的评测结果：

http://www.infoq.com/cn/news/2007/08/hadoop-momentum

1 为什么我们不能做一个Google？

zdg收录，使用标签：搜索技术, Lucene, Nutch, Hadoop, Krugle，时间：2007-5-16 18:30:53 | 相关网摘，我也收藏

Hadoop是一个复制了Google文件系统分类功能和对于大数据量计算的Google MapReduce 演算系统的应用程序构架。Lucene 是一个基于Java的搜索和索引系统。Nutch是在Lucene基础上的进一步扩展，增加了基于Web的爬虫和其他附属搜索功能。

这些开源搜索项目已经在 Krugle、Powerset、Wikipedia 和Zimbra等公司和组织内得到了应用。

Krugle 在一家主机托管服务(collocation facility)公司内运行着大约100台服务器。Krugler 说Amazon的Elastic Compute Cloud(EC2)服务看起来大有前途

http://blog.sina.com.cn/u/53f360500100064s

共4个网摘 [ 1 ]

zdg/相关标签

.NET开发(382)
Intelnet(286)
Web2.0(264)
google(233)
搜索技术(229)
365key(182)
ajax(167)
SNS(164)
blog(155)
finance(153)
IT业界(148)
融资并购(139)
rss(110)
facebook(107)
SEO(106)
管理(82)
tag(80)
Opensource(77)
AD(77)
Tools(75)