HDFS和MapReduce是Hadoop的兩大核心,除此之外Hbase、Hive這兩個核心工具也隨著Hadoop發展變得越來越重要。今天我們只初步的看看HDFS.
HDFS的體系架構
整個Hadoop的體系結構主要是通過HDFS來實現對分布式存儲的底層支持,并通過MR來實現對分布式并行任務處理的程序支持。
圖中涉及三個角色:NameNode、DataNode、Client。NameNode是管理者,DataNode是文件存儲者、Client是需要獲取分布式文件系統的應用程序。
作為JAVA開發者來說,spring 絕對是我們的最大福因。大家一定要看一下這里,hadoop 套餐。里面有對hdfs,mapreduce,hive,hbase的訪問封裝,個人覺得秉承了spring一貫的簡單實用風格,一定要贊一下。
下面,我們結合實際的例子闡述一下使用方法:
配置地址:
hadoop數據源初始化:
hdfs數據存儲對象定義
文件對象寫入
數據查詢與過濾
最關鍵就是查詢,你可以RefinableView的條件組合,搜尋你所要的數據。
語法理解:
with:等于
from:大于等于
fromafter:大于
to:小于等于
tobefore:小于
小樣:demo
我的微信公眾號,歡迎溝通學習。
posted on 2017-07-24 10:35
alexcai 閱讀(662)
評論(0) 編輯 收藏