主題

內容見要

海量數據處理系統(tǒng)

的架構設計

?

這個部分主要講解海量數據處理的架構設計，針對海量數據的問題設計海量數據的架構解決方案。

·?海量數據處理的系統(tǒng)場景

·?大數據時代的數據架構解決方案

·?海量數據處理的架構匯總

·?8種海量數據處理的架構設計比較

·?HBase在復雜數據體系中的位置

·?HBase如何與其他海量數據處理系統(tǒng)協(xié)同

·?分布式系統(tǒng)架構的海量數據處理設計

·?海量數據處理設計

典型案例分析：結合一個500強實時數據系統(tǒng)的實例案例進行分析，詳細分析海量數據處理的架構設計

NoSQL的實踐應用

HBase與其他NoSQL的共存及其主要應用場景分析

·?NoSQL綜述解決的實際問題

·?關系數據庫暴露的問題

·?High performance并發(fā)要求

·?Huge Storage的存取

·?High Scalability的服務器分布要求

·?High Availability的服務器健壯要求

·?關系型數據庫失效的場景

·?NoSQL與關系型數據庫設計理念比較

·?HBase與關系型數據庫的協(xié)作

·?HBase的優(yōu)劣及其與關系型數據庫的差異與區(qū)別

·?NoSQL設計模型分析

·?K-V模型的Column設計

·?Document模型的B Tree設計

·?Object模型的基于Object數據訪問設計

·?NoSQL實例分析

·?Apache Hbase架構解析

·?Facebook Cassandra架構解析

·?Google BigTable架構解析

·?NoSQL中Memcache與Redis的應用場景

·?NoSQL中MongoDB的應用場景

·?NoSQL中Hadoop, Spark的應用場景

·?主流NoSQL的產品差異比較

·?綜合應用NoSQL的解決方案處理復雜環(huán)境數據高負載，高并發(fā)， 高性能的數據體系

·?HBase的應用場景實踐解析及其解決的業(yè)務問題

o?海量數據寫入?

o?消息類（類似Facebook的message）

o?Schema-free?

o?LOG-Append類的業(yè)務

o?大表的復雜/多維度索引

o?分析類

o?大批量讀取

·?HBase的數據場景實踐解析

o?HBase表數據量的范圍

o?HBase的數據操作類別

o?HBase的讀寫場景

o?HBase的排序場景

o?HBase不適宜的技術場景

典型案例分析：結合一個500強實時數據采集系統(tǒng)的實例案例進行分析，詳細分析NoSQL的綜合開源架構應用多種NoSQL的產品集合應用

典型案例分析：結合一個大型互聯(lián)網系統(tǒng)的實例案例進行分析，詳細分析HBase的主要應用場景及其解決的業(yè)務問題

Hadoop作為HBase的重要基石-HBase的存儲架構

?

·?文件存儲-HDFS

·?HDFS-工作原理

·?分布式Hadoop HDFS的集群搭建與部署

·?HDFS核心架構分析

·?Hadoop HDFS讀/寫文件快速解析

·?HBase與分布式Hadoop HDFS的關系

·?如何基于Hadoop HDFS構建HBase

·?基于Hadoop HDFS的HBase存儲模型

·?HBase的三層索引結構

·?HBase的Row Base設計思想

·?HBase存儲的邏輯視圖與物理視圖

·?HBase表的Row key鍵、Column Family列族、Cell qualifier列族修飾符（列）、Timestamp時間戳、Region區(qū)域、HBase鎖 解析

·?HBase物理存儲模型的核心架構

·?HRegin與HTable的關系及其核心架構分析

·?HFile格式分析

·?HFile的6個組成部分

·?HLog?分析

·?三層B+樹的擴展LSMTree

·?Compact與Splite對性能的影響

·?如何優(yōu)化HBase的存儲

課堂演練：學員搭建一個基本的HBase通過HBase的文件體系， 了解HBase的存儲過程，并針對不同業(yè)務場景嘗試優(yōu)化HBase存儲

HBase集群架構搭建及實踐案例沙盤演練

·?HBase版本介紹與選擇

·?HBase部署實踐

·?系統(tǒng)環(huán)境配置

·?HBase進程分布規(guī)劃與啟動

·?HBase Region Server

·?基于HBase的命令總結

·?HBase高階使用操作

·?HBase集群架構搭建方法

·?HBase集群架構性能管理

·?去中心化的HBase單點問題改進

·?HBase的調優(yōu)和節(jié)點擴展最佳實踐

·?主要調優(yōu)工具和性能監(jiān)控工具

·?HBase集群對于硬件的要求和選型

·?HBase集群中對硬件、操作系統(tǒng)的調優(yōu)方法

·?實際案例分析

·?ZooKeeper與HBase

·?HBase Master與Region Server

·?ZooKeeper在HBase集群中的應用方式

·?基于HBase的集群解決方案

·?典型案例分析：結合一個大型商業(yè)系統(tǒng)的實例案例分析及演練HBase集群架構搭建過程

·?課堂演練：學員搭建一個HBase與ZooKeeper的集群更加深入的了解Region Server, Mater, ZooKeeper之間的關系， 及HBase的高階操作與優(yōu)化

HBase架構及實踐案例沙盤演練

·?為什么實用Hadoop/HBase

·?Hadoop的架構體系與HBase的應用關系

·?HBase的核心設計機制

·?HBase的使用場景？什么情況下使用HBase，為什么使用HBase，HBase使用帶來的實踐價值

·?開發(fā)環(huán)境準備

·?Eclipse與HBase的集成

·?HBase進行數據讀、寫操作

·?基于的API編程模型及其開發(fā)演練

·?關系型數據庫與HBase

·?HBase的Client端

·?HBase架構分析

·?基于HBase項目架構設計?

·?入庫和查詢的設計與實現

·??{實時性，大并發(fā)下HBase的數據處理解決方案

·?案例演練HBase的主體特性

·?Features:Scalability實現

·?HBaseFeatures:Column-Oriented實現

·?High Performance Random R/W實現

·?HBase Features: Scan Search實現

·?HBase Features: High?\Availability實現

典型案例分析：結合一個500強實時數據采集系統(tǒng)的實例案例進行分析，詳細分析HBase的開源架構應用及其使用場景與整體系統(tǒng)架構的結合

典型案例分析：通過HBase API完成一個復雜數據系統(tǒng)的操作過程

課堂演練：學員通過HBase API完成一個消息系統(tǒng)的HBase代碼

?

·??

HBase?的表結構設計

·?依據于業(yè)務的HBase表結構設計的基本思想

·?基于星核結構的思想進行的HBase表結構設計

·?數據雙寫的設計

·?索引表的設計

·?Rowkey的設計建議

·?Rowkey非單一ID

·?Rowkey為組合性

·?如何通過Rowkey覆蓋查詢場景

·?創(chuàng)建分詞索引表

·?交互性應用消息的表結構設計

·?無結構化數據的表結構設計

·?Column Family的設計

·?緩存表的設計

典型案例分析：結合一個大型互聯(lián)網電商系統(tǒng)的實例案例進行分析，詳細分析HBase的表結構設計

課堂演練：學員通過HBase API完成一個類似于滴滴打車的高并發(fā)系統(tǒng)的HBase表結構設計

HBase DB性能優(yōu)化

·?基于HBase的ZooKeeper優(yōu)化

·?HBase的Region Server優(yōu)化

·?HBase的存儲文件優(yōu)化

·?HBase的緩存優(yōu)化

·?HTablePool的設計

·?HBase寫速度優(yōu)化的7個實踐

·?HBase讀速度優(yōu)化的6個實踐

·?HBase客戶端的讀寫優(yōu)化

·?如何調整業(yè)務訪問HBase的方式，從而整體優(yōu)化HBase的應用性能

·?HBase的表結構設計優(yōu)化

典型案例分析：結合一個500強實時數據采集系統(tǒng)的應用數據， 對HBase進行性能測試， 演示不同優(yōu)化對于HBase性能的影響

HBase綜合案例演練

?

一個大型的實例大數據項目：

具備掌握HBase大數據應用系統(tǒng)的完整 架構設計，具備項目的分析、開發(fā)、部署的全過程的能力，貫穿前面課程的主要內容，使大家熟悉一個完整大數據項目的分析、架構設計、開發(fā)、優(yōu)化、部署的全過程。