云計算技術簡介 |
云計算技術概述,大數據時代來臨,Google云計算技術,Amazon云計算技術,微軟云計算技術等。 |
初始Hadoop |
Hadoop的起源、解決的問題、
以及它的特點、應用場景和發展趨勢,企業應用情況,為什么使用,及其生態系統介紹。 |
Hadoop
單節點偽分布式安裝 |
Hadoop
1.0 版本 安裝環境搭建 |
Hadoop
架構 |
Hadoop
整體架構設計及重要的概念 |
Hadoop
HDFS 體系結構 |
1:HDFS
架構設計目標,設計思想,
2:特點,基本概念,容錯性。
3:HDFS
界面介紹
4:HDFS
服務 |
Hadoop
HDFS 命令行 |
Hadoop
HDFS Shell 基本操作 |
HDFS
Java API 使用 |
1:基于Eclipse開發環境搭建
2:Java
API示范 :比如建立文件,刪除,移動復制等 |
Hadoop
MapReduce 架構 原理 |
1:MapReduce 架構詳解
2:MapReduce
流程
3:MapReduce
特點
4:MapReduce
容錯性
5:MapReduce
服務 |
Hadoop
MapReduce api |
1:Mapper
2:Reducer
3:Driver |
Hadoop
MapReduce 編程實踐 wordcount |
1:WordCount
程序編寫,演示
2:運行MR
Job 示例 |
高級MR
編程 |
1:RecordReader
2:Partitioner
3:Combiner |
Hadoop
MapReduce IO |
1:數據完整性校驗
2:壓縮,包括:LZO、GZIP、Snappy
3:序列化
4:基于文件的數據結構,包括:SequenceFile、MapFile |
調優 |
調優經驗分享 |
課程中的HBase部分:
掌握HBase基本原理,應用場景,掌握基本的編程技巧
章節課程 |
內容描述 |
初始HBase |
1:NoSql
數據庫簡介.
2:HBase
簡介及與傳統關系數據庫的對比。
3:HBase
應用場景,企業應用情況,為什么使用。
4:HBase
特點 |
HBase
環境搭建 |
HBase
環境搭建 |
HBase
體系結構 |
1:HBase架構
2:HMaster、RegionServer、 Regoin 等概念 |
HBase
數據模型 |
1:表
2:Rowkey
3:Column
Families |
HBase
Shell 命令行 |
1:啟動HBase
Shell
2:建立表
3:訪問數據(添加,刪除,查詢)
4:練習 |
HBase
api 簡單編程介紹 |
1:基于Eclipse開發環境搭建
2:基本操作(建表,查詢數據,刪除)
3:高級操作
(使用過濾器)
4:練習 |
HBase
row-key 設計及Scheme 設計 |
經驗分享,設計原則 |
HBase
coprocessor等高級特性介紹 |
1:coprocessor特性分析,使用場景;
2:HBase
優化簡單原則 |
課程中的Hive部分:
掌握Hive基本原理,應用場景,掌握基本的編程技巧
章節課程 |
內容描述 |
初始Hive |
1:Hive簡介
2:為什么使用Hive
3:Hive
應用場景,企業應用情況 |
Hive
環境搭建 |
Hive
偽分布式環境搭建 |
Hive
體系結構 |
1:Hive主要的組件
2:用戶接口
3:概念 |
Hive
QL |
1:Hive
類Sql
2:DDL
3:DML
4:Select
與連接查詢 |
Hive
Java API |
1:搭建
Hive JDBC 開發環境
2:Hive
JDBC 開發流程 |
Hive
用戶自定義函數簡單介紹 |
UDF和UADF |
課程中的分布式協調系統Zookeeper部分:
掌握Zookeeper基本原理,應用場景,掌握基本的編程技巧
章節課程 |
內容描述 |
初始Zookeeper |
1:什么是ZooKeeper
2:ZooKeeper特性 |
Zookeeper
體系結構 |
1:ZooKeeper體系結構
2:ZooKeeper存儲結構 |
Zookeeper
選舉與鎖機制 |
1:Zookeeper
選舉機制
2:Zookeeper
選舉算法
3:Zookeeper
鎖機制 |
ZooKeeper
CRUD API |
1:Create
2:Read
3:Update
4:Delete |
Zookeeper
應用場景 |
Zookeeper
應用場景 |