Hadoop是IT行業一個新的熱點,是云計算的一個具體實現、Hadoop本身具有很高的技術含量,是IT工程師學習的首選!下面我們來詳細講講什么是Hadoop。
完整hadoop講解視頻教程下載地址:
1、
http://kuai.xunlei.com/d/CLCBYHQKJQNT 2、
http://kuai.xunlei.com/d/CSMFERCHAGEEHadoop是什么:
Hadoop = The Hadoop projects
Common, Avro, MapReduce, HDFS, Pig, Hive, Hbase, ZooKeeper, Sqoop, Oozie
Hadoop要解決的兩個問題:
1、海量數據的存儲 -- HDFS
2、海量數據的分析 -- MapReduce
Hadoop發展的歷史:
始于2002年的apache項目Nutch
2003年Google發表了關于GFS的論文
2004年Nutch的開發者開發了NDFS
2004年Google發表了關于MapReduce的論文
2005年MapR被引入了NDFS
2006年改名為Hadoop,NDFS的創始人加入Yahoo,Yahoo成立了一個專門的小組發展Hadoop
HDFS設計目標:
1、Very large files
2、Streaming data access
write-once, read-many-times
3、Commodity hardware
HDFS架構:
在Hadoop中,一個文件被劃分成大小固定的多個文件塊,分布的存儲在集群中的節點中


Block:一個文件分塊,默認64M
NameNode:保存整個文件系統的目錄信息,文件信息以及文件相應的分塊信息。
DataNode:用于存儲Blocks
HDFS的HA策略:NameNode一旦宕機,整個文件系統將無法工作。
如果NameNode中的數據丟失,整個文件系統也就丟失了。
2.x開始,HDFS支持NameNode的active-standy模式
posted on 2012-09-21 00:08
小笨熊_bear 閱讀(2615)
評論(0) 編輯 收藏