教學(xué)優(yōu)勢(shì)
曙海教育的課程培養(yǎng)了大批受企業(yè)歡迎的工程師。大批企業(yè)和曙海
建立了良好的合作關(guān)系。曙海集團(tuán)的課程在業(yè)內(nèi)有著廣泛的美譽(yù)度和響亮的知名度。
秉承二十幾年積累的教學(xué)品質(zhì)，本課程以真實(shí)項(xiàng)目實(shí)戰(zhàn)為導(dǎo)向,授課工程師將會(huì)與您分享設(shè)計(jì)的全流程及工具的綜合使用技巧、經(jīng)驗(yàn)。
Cloudera管理員培訓(xùn)課程
課程目標(biāo)?
l??掌握Cloudera Manager管理集群的功能；
l??掌握故障排除、診斷和解決集群?jiǎn)栴}的能力；
l??理解并全面掌握通過Cloudera Manager對(duì)Hadoop集群的運(yùn)維管理；
l??幫助Hadoop系統(tǒng)管理員準(zhǔn)備好應(yīng)對(duì)實(shí)際運(yùn)維中遇到的挑戰(zhàn)。
?
培訓(xùn)大綱?
|
課程內(nèi)容 |
|
▲????Apache Hadoop介紹 ●?????Hadoop介紹及優(yōu)勢(shì) ●?????基本概念 ●?????Hadoop核心組件 ●?????實(shí)操練習(xí)：網(wǎng)絡(luò)配置 ▲????Hadoop集群安裝 ●?????集群管理方案 ●?????Cloudera Manager特征 ●?????Cloudera Manager安裝 ●?????CDH介紹及安裝 ●?????實(shí)操練習(xí)1：安裝Cloudera ? Manager服務(wù) ●?????實(shí)操練習(xí)2：創(chuàng)建Hadoop集群 ▲????Hadoop分布式文件系統(tǒng)（HDFS） ●?????HDFS特性 ●?????讀寫文件 ●?????NameNode內(nèi)存注意事項(xiàng) ●?????HDFS安全簡(jiǎn)介 ●?????HDFS web UI ●?????使用hadoop 文件 ? shell ●?????實(shí)操練習(xí)：使用HDFS |
|
▲????YARN上的MapRduce和Spark ●?????計(jì)算平臺(tái)在hadoop中扮演的角色 ●?????YARN（集群資源管理器）的介紹 ●?????MapRduce概念介紹 ●?????Spark概念介紹 ●?????在YARN上運(yùn)行計(jì)算框架 ●?????通過web UIs和shell探索YARN應(yīng)用程序 ●?????YARN應(yīng)用程序日志介紹 ●?????實(shí)操練習(xí)：運(yùn)行YARN應(yīng)用程序 ▲????Hadoop配置及服務(wù)運(yùn)行日志 ●?????Cloudera Manager的配置管理機(jī)制 ●?????定位配置參數(shù)及更改應(yīng)用配置 ●?????管理角色實(shí)例及添加服務(wù) ●?????配置HDFS服務(wù) ●?????配置Hadoop Daemon日志 ●?????配置YARN服務(wù) ●?????實(shí)操練習(xí)：探索hadoop配置及守護(hù)程序日志 ▲????向HDFS導(dǎo)入數(shù)據(jù) ●?????使用Flume從外部數(shù)據(jù)源實(shí)時(shí)導(dǎo)入數(shù)據(jù) ●?????使用Sqooq從關(guān)系數(shù)據(jù)庫中導(dǎo)入數(shù)據(jù) ●?????REST接口介紹 ●?????導(dǎo)入數(shù)據(jù)的最佳實(shí)踐 ●?????實(shí)操練習(xí)1：Flume的使用 ●?????實(shí)操練習(xí)2：使用Sqooq導(dǎo)入數(shù)據(jù) |
|
▲????Hadoop集群規(guī)劃 ●?????總體規(guī)劃考慮因素 ●?????硬件選擇 ●?????虛擬化選項(xiàng) ●?????云部署選項(xiàng) ●?????網(wǎng)絡(luò)考慮因素 ●?????節(jié)點(diǎn)配置 ▲????Hive、Impala及Pig的安裝及配置 ●?????Hive介紹 ●?????Impala介紹 ●?????Pig介紹 ●?????Cloudera搜索 ●?????實(shí)操練習(xí)：使用Hive和Impala查詢HDFS ▲????Hadoop客戶端及Hue ●?????Hadoop客戶端介紹 ●?????安裝和配置Hadoop客戶端 ●?????安裝和配置Hue ●?????使用Hue進(jìn)行身份驗(yàn)證及授權(quán) ●?????實(shí)操練習(xí)：使用Hue來控制hadoop用戶訪問 ▲????集群高級(jí)配置 ●?????高級(jí)配置參數(shù) ●?????Hadoop端口配置 ●?????HDFS機(jī)柜感知配置 ●?????HDFS高可靠性配置 ●?????實(shí)操練習(xí)：配置HDFS的高可靠性 |
|
▲????Hadoop安全 ●?????Hadoop安全的重要性 ●?????Hadoop的安全性概念 ●?????Kerberos簡(jiǎn)介及工作原理介紹 ●?????使用Kerberos保護(hù)Hadoop集群 ●?????其他安全特性 ▲????資源管理 ●?????使用靜態(tài)服務(wù)資源池配置cgroups ●?????公平調(diào)度器 ●?????配置動(dòng)態(tài)資源池 ●?????YARN內(nèi)存和CPU設(shè)置 ●?????Impala查詢調(diào)度 ●?????實(shí)操練習(xí)：Fair Sheduler的使用 ▲????集群維護(hù) ●?????檢查HDFS狀態(tài) ●?????集群間的數(shù)據(jù)拷貝 ●?????添加和移除Cluster節(jié)點(diǎn) ●?????集群數(shù)據(jù)的負(fù)載平衡 ●?????創(chuàng)建目錄快照 ●?????集群更新升級(jí) ●?????實(shí)操練習(xí)1：驗(yàn)證集群的自我修復(fù)功能 ●?????實(shí)操練習(xí)2：創(chuàng)建HDFS快照 ▲????集群監(jiān)控及排錯(cuò) ●?????Cloudera Manager監(jiān)控特性 ●?????監(jiān)控Hadoop集群 ●?????Hadoop集群的排錯(cuò) ●?????實(shí)操練習(xí)1：配置Email警告 ●?????實(shí)操練習(xí)2：排錯(cuò)挑戰(zhàn) |
?
