shenh062326

本文轉(zhuǎn)自it186云計(jì)算頻道，原文地址：cloud.it168.com

在互聯(lián)網(wǎng)這個(gè)領(lǐng)域一直有這樣的說(shuō)法：“如果老二無(wú)法戰(zhàn)勝老大，那么就把老大賴(lài)以生存的東西開(kāi)源吧”。當(dāng)年Yahoo!與Google還是處在 強(qiáng)烈競(jìng)爭(zhēng)關(guān)系時(shí)候，招聘了Doug(Hadoop創(chuàng)始人)，把Google老大賴(lài)以生存的DFS與Map-Reduce開(kāi)源了，開(kāi)始了Hadoop的童年 時(shí)期。差不多在2008年的時(shí)候，Hadoop才算逐漸成熟。

從初創(chuàng)到現(xiàn)在，Hadoop經(jīng)過(guò)了至少7年的積累，現(xiàn)在的Hadoop不僅是當(dāng)年的老二Yahoo的專(zhuān)用產(chǎn)品了，從Hadoop長(zhǎng)長(zhǎng)的用戶名單中， 可以看到Facebook、Linkedin、Amazon，可以看到EMC、eBay、Twitter、IBM、Microsoft,、Apple、 HP…國(guó)內(nèi)的公司有淘寶、百度等等。

本文將對(duì)Hadoop七年（2004-2011）的發(fā)展歷程進(jìn) 行梳理。讀完本文后，將不難看出，Hadoop的發(fā)展基本上經(jīng)歷了這樣一個(gè)過(guò)程：從一個(gè)開(kāi)源的Apache基金會(huì)項(xiàng)目，隨著越來(lái)越多的用戶的加入，不斷地 使用、貢獻(xiàn)和完善，形成一個(gè)強(qiáng)大的生態(tài)系統(tǒng)，從2009年開(kāi)始，隨著云計(jì)算和大數(shù)據(jù)的發(fā)展，Hadoop作為海量數(shù)據(jù)分析的最佳解決方案，開(kāi)始受到許多 IT廠商的關(guān)注，從而出現(xiàn)了許多Hadoop的商業(yè)版以及支持Hadoop的產(chǎn)品，包括軟件和硬件。

• 2004年，Google發(fā)表論文，向全世界介紹了MapReduce。
• 2005年初，為了支持Nutch搜索引擎項(xiàng)目，Nutch的開(kāi)發(fā)者基于Google發(fā)布的MapReduce報(bào)告，在Nutch上開(kāi)發(fā)了一個(gè)可工作的MapReduce應(yīng)用。
• 2005年年中，所有主要的Nutch算法被移植到使用MapReduce和NDFS(Nutch Distributed File System )來(lái)運(yùn)行。
• 2006年1月，Doug Cutting加入雅虎，Yahoo!提供一個(gè)專(zhuān)門(mén)的團(tuán)隊(duì)和資源將Hadoop發(fā)展成一個(gè)可在網(wǎng)絡(luò)上運(yùn)行的系統(tǒng)。
• 2006年2月，Apache Hadoop項(xiàng)目正式啟動(dòng)以支持MapReduce和HDFS的獨(dú)立發(fā)展。
• 2007年，百度開(kāi)始使用Hadoop做離線處理，目前差不多80%的Hadoop集群用作日志處理。
• 2007年，中國(guó)移動(dòng)開(kāi)始在“大云”研究中使用Hadoop技術(shù)，規(guī)模超過(guò)1000臺(tái)。
• 2008年，淘寶開(kāi)始投入研究基于Hadoop的系統(tǒng)——云梯，并將其用于處理電子商務(wù)相關(guān)數(shù)據(jù)。云梯1的總?cè)萘看蟾艦?.3PB，包含了1100臺(tái)機(jī)器，每天處理約18000道作業(yè)，掃描500TB數(shù)據(jù)。
• 2008年1月，Hadoop成為Apache頂級(jí)項(xiàng)目。
• 2008年2月，Yahoo!宣布其搜索引擎產(chǎn)品部署在一個(gè)擁有1萬(wàn)個(gè)內(nèi)核的Hadoop集群上。
• 2008年7月，Hadoop打破1TB數(shù)據(jù)排序基準(zhǔn)測(cè)試記錄。Yahoo!的一個(gè)Hadoop集群用209秒完成1TB數(shù)據(jù)的排序 ，比上一年的紀(jì)錄保持者保持的297秒快了將近90秒。
• 2009 年 3 月，Cloudera推出CDH(Cloudera’s Distribution including Apache Hadoop)平臺(tái)，完全由開(kāi)放源碼軟件組成，目前已經(jīng)進(jìn)入第3版。
• 2009年5月，Yahoo的團(tuán)隊(duì)使用Hadoop對(duì)1 TB的數(shù)據(jù)進(jìn)行排序只花了62秒時(shí)間。
• 2009年7月 ，Hadoop Core項(xiàng)目更名為Hadoop Common;
• 2009年7月 ，MapReduce 和 Hadoop Distributed File System (HDFS) 成為Hadoop項(xiàng)目的獨(dú)立子項(xiàng)目。
• 2009年7月 ，Avro 和 Chukwa 成為Hadoop新的子項(xiàng)目。
• 2010年5月 ，Avro脫離Hadoop項(xiàng)目，成為Apache頂級(jí)項(xiàng)目。
• 2010年5月 ，HBase脫離Hadoop項(xiàng)目，成為Apache頂級(jí)項(xiàng)目。
• 2010年5月，IBM提供了基于Hadoop 的大數(shù)據(jù)分析軟件——InfoSphere BigInsights，包括基礎(chǔ)版和企業(yè)版。
• 2010年9月，Hive( Facebook) 脫離Hadoop，成為Apache頂級(jí)項(xiàng)目。
• 2010年9月，Pig脫離Hadoop，成為Apache頂級(jí)項(xiàng)目。
• 2011年1月，ZooKeeper 脫離Hadoop，成為Apache頂級(jí)項(xiàng)目。
• 2011年3月，Apache Hadoop獲得Media Guardian Innovation Awards 。
• 2011年3月， Platform Computing 宣布在它的Symphony軟件中支持Hadoop MapReduce API。
• 2011年5月，Mapr Technologies公司推出分布式文件系統(tǒng)和MapReduce引擎——MapR Distribution for Apache Hadoop。
• 2011年5月，HCatalog 1.0發(fā)布。該項(xiàng)目由Hortonworks 在2010年3月份提出，HCatalog主要用于解決數(shù)據(jù)存儲(chǔ)、元數(shù)據(jù)的問(wèn)題，主要解決HDFS的瓶頸，它提供了一個(gè)地方來(lái)存儲(chǔ)數(shù)據(jù)的狀態(tài)信息，這使得 數(shù)據(jù)清理和歸檔工具可以很容易的進(jìn)行處理。
• 2011年4月，SGI( Silicon Graphics International )基于SGI Rackable和CloudRack服務(wù)器產(chǎn)品線提供Hadoop優(yōu)化的解決方案。
• 2011年5月，EMC為客戶推出一種新的基于開(kāi)源Hadoop解決方案的數(shù)據(jù)中心設(shè)備——GreenPlum HD，以助其滿足客戶日益增長(zhǎng)的數(shù)據(jù)分析需求并加快利用開(kāi)源數(shù)據(jù)分析軟件。Greenplum是EMC在2010年7月收購(gòu)的一家開(kāi)源數(shù)據(jù)倉(cāng)庫(kù)公司。
• 2011年5月，在收購(gòu)了Engenio之后， NetApp推出與Hadoop應(yīng)用結(jié)合的產(chǎn)品E5400存儲(chǔ)系統(tǒng)。
• 2011年6月，Calxeda公司(之前公司的名字是Smooth-Stone)發(fā)起了“開(kāi)拓者行動(dòng)”，一個(gè)由10家軟件公司組成的團(tuán)隊(duì)將為基于Calxeda即將推出的ARM系統(tǒng)上芯片設(shè)計(jì)的服務(wù)器提供支持。并為Hadoop提供低功耗服務(wù)器技術(shù)。
• 2011年6月，數(shù)據(jù)集成供應(yīng)商Informatica發(fā)布了其旗艦產(chǎn)品，產(chǎn)品設(shè)計(jì)初衷是處理當(dāng)今事務(wù)和社會(huì)媒體所產(chǎn)生的海量數(shù)據(jù)，同時(shí)支持Hadoop。
• 2011年7月，Yahoo!和硅谷風(fēng)險(xiǎn)投資公司 Benchmark Capital創(chuàng)建了Hortonworks 公司，旨在讓Hadoop更加魯棒(可靠)，并讓企業(yè)用戶更容易安裝、管理和使用Hadoop。
• 2011年8月，Cloudera公布了一項(xiàng)有益于合作伙伴生態(tài)系統(tǒng)的計(jì)劃——創(chuàng)建一個(gè)生態(tài)系統(tǒng)，以便硬件供應(yīng)商、軟件供應(yīng)商以及系統(tǒng)集成商可以一起探索如何使用Hadoop更好的洞察數(shù)據(jù)。
• 2011年8月，Dell與Cloudera聯(lián)合推出Hadoop解決方案——Cloudera Enterprise。Cloudera Enterprise基于Dell PowerEdge C2100機(jī)架服務(wù)器以及Dell PowerConnect 6248以太網(wǎng)交換機(jī) 。

在梳理的過(guò)程中，筆者發(fā)現(xiàn)了上圖，它很好地展現(xiàn)了Hadoop生態(tài)系統(tǒng)是如何在使用中一步一步成長(zhǎng)起來(lái)的。