問題導讀
1.CM的安裝目錄在什么位置？
2.hadoop配置文件在什么位置？
3.Cloudera manager運行所需要的信息存在什么位置？4.CM結構和功能是什么？
1. 相關目錄- /var/log/cloudera-scm-installer : 安裝日志目錄。
- /var/log/* : 相關日志文件（相關服務的及CM的）。
- /usr/share/cmf/ : 程序安裝目錄。
- /usr/lib64/cmf/ : Agent程序代碼。
- /var/lib/cloudera-scm-server-db/data : 內嵌數(shù)據(jù)庫目錄。
- /usr/bin/postgres : 內嵌數(shù)據(jù)庫程序。
- /etc/cloudera-scm-agent/ : agent的配置目錄。
- /etc/cloudera-scm-server/ : server的配置目錄。
- /opt/cloudera/parcels/ : Hadoop相關服務安裝目錄。
- /opt/cloudera/parcel-repo/ : 下載的服務軟件包數(shù)據(jù)，數(shù)據(jù)格式為parcels。
- /opt/cloudera/parcel-cache/ : 下載的服務軟件包緩存數(shù)據(jù)。
- /etc/hadoop/* : 客戶端配置文件目錄。
2. 配置Hadoop配置文件
配置文件放置于/var/run/cloudera-scm-agent/process/目錄下。如：/var/run/cloudera-scm-agent/process/193-hdfs-NAMENODE/core-site.xml。這些配置文件是通過Cloudera Manager啟動相應服務（如HDFS）時生成的，內容從數(shù)據(jù)庫中獲得（即通過界面配置的參數(shù)）。
在CM界面上更改配置是不會立即反映到配置文件中，這些信息會存儲于數(shù)據(jù)庫中，等下次重啟服務時才會生成配置文件。且每次啟動時都會產生新的配置文件。
CM Server主要數(shù)據(jù)庫為scm基中放置配置的數(shù)據(jù)表為configs。里面包含了服務的配置信息，每一次配置的更改會把當前頁面的所有配置內容添加到數(shù)據(jù)庫中，以此保存配置修改歷史。
scm數(shù)據(jù)庫被配置成只能從localhost訪問，如果需要從外部連接此數(shù)據(jù)庫，修改vim /var/lib/cloudera-scm-server-db/data/pg_hba.conf文件,之后重啟數(shù)據(jù)庫。運行數(shù)據(jù)庫的用戶為cloudera-scm。
查看配置內容
- 直接查詢scm數(shù)據(jù)庫的configs數(shù)據(jù)表的內容。
- 訪問REST API： http://hostname:7180/api/v4/cm/deployment，返回JSON格式部署配置信息。
3. 數(shù)據(jù)庫Cloudera manager主要的數(shù)據(jù)庫為scm,存儲Cloudera manager運行所需要的信息：配置，主機，用戶等。
4. CM結構CM分為Server與Agent兩部分及數(shù)據(jù)庫（自帶更改過的嵌入Postgresql）。它主要做三件事件：
- 管理監(jiān)控集群主機。
- 統(tǒng)一管理配置。
- 管理維護Hadoop平臺系統(tǒng)。
實現(xiàn)采用C/S結構，Agent為客戶端負責執(zhí)行服務端發(fā)來的命令，執(zhí)行方式一般為使用python調用相應的服務shell腳本。Server端為Java REST服務，提供REST API，Web管理端通過REST API調用Server端功能，Web界面使用富客戶端技術（Knockout）。
- Server端主體使用Java實現(xiàn)。
- Agent端主體使用Python, 服務的啟動通過調用相應的shell腳本進行啟動，如果啟動失敗會重復4次調用啟動腳本。
- Agent與Server保持心跳，使用Thrift RPC框架。
5. 升級在CM中可以通過界面向導升級相關服務。升級過程為三步：
- 下載服務軟件包。
- 把所下載的服務軟件包分發(fā)到集群中受管的機器上。
- 安裝服務軟件包，使用軟鏈接的方式把服務程序目錄鏈接到新安裝的軟件包目錄上。
6. 卸載sudo /usr/share/cmf/uninstall-scm-express.sh, 然后刪除/var/lib/cloudera-scm-server-db/目錄，不然下次安裝可能不成功。
7. 開啟postgresql遠程訪問CM內嵌數(shù)據(jù)庫被配置成只能從localhost訪問，如果需要從外部查看數(shù)據(jù)，數(shù)據(jù)修改vim /var/lib/cloudera-scm-server-db/data/pg_hba.conf文件,之后重啟數(shù)據(jù)庫。運行數(shù)據(jù)庫的用戶為cloudera-scm。
posted on 2017-04-13 14:36
xzc 閱讀(319)
評論(0) 編輯 收藏 所屬分類:
hadoop