對(duì)象

研發(fā)技術(shù)人員

目的

介紹目前大數(shù)據(jù)的核心技術(shù)和應(yīng)用實(shí)例，并以實(shí)踐操作和項(xiàng)目式教學(xué)的方式著重講解Hadoop和Spark的基本原理和應(yīng)用。

內(nèi)容

一、Hadoop關(guān)鍵技術(shù)

學(xué)習(xí)如何安裝運(yùn)行各種大數(shù)據(jù)軟件以及如何進(jìn)行初級(jí)編程實(shí)踐，包括Hadoop、HDFS、MapReduce等安裝、操作和編程。其中會(huì)介紹一些Hadoop的應(yīng)用案例，并通過一些實(shí)驗(yàn)初步了解Hadoop的操作。

第1章　Hadoop概論

1.1　緣于搜索的Hadoop

1.1.1　Hadoop簡介

1.1.2　Hadoop發(fā)展

1.2　大數(shù)據(jù)、Hadoop的關(guān)系

1.3　Hadoop設(shè)計(jì)思想與架構(gòu)

1.3.1　數(shù)據(jù)存儲(chǔ)與切分

1.3.2　MapReduce模型

1.3.3　MPI和MapReduce

第2章　Hadoop存儲(chǔ)系統(tǒng)

2.1　基本概念

2.1.1　NameNode

2.1.2　DateNode

2.1.3　客戶端

2.1.4　塊

2.2　HDFS的特性和目標(biāo)

2.2.1　HDFS的特性

2.2.2　HDFS的目標(biāo)

2.3　HDFS架構(gòu)

2.3.1　Master/Slave架構(gòu)

2.3.2　NameNode和Secondary   NameNode通信模型

2.3.3　文件存取機(jī)制

2.4　HDFS核心設(shè)計(jì)

2.5　HDFS權(quán)限管理

第3章　HDFS的使用

3.1    HDFS環(huán)境準(zhǔn)備

3.2　HDFS命令的使用

3.3　HDFS Java API的使用方法

第4章　MapReduce計(jì)算框架

4.1　Hadoop MapReduce簡介

4.2　MapReduce模型

4.2.1　MapReduce編程模型

4.2.2　MapReduce實(shí)現(xiàn)原理

第5章　Hadoop命令系統(tǒng)

5.1　Hadoop命令系統(tǒng)的組成

5.2　用戶命令

第6章　Hadoop作業(yè)調(diào)度系統(tǒng)

6.1　作業(yè)調(diào)度概述

6.1.1　相關(guān)概念

6.1.2　作業(yè)調(diào)度流程

6.1.3　集群資源組織與管理

6.1.4　隊(duì)列控制和權(quán)限管理

6.1.5　插件式調(diào)度框架

第7章　Hadoop集群搭建

7.1　Hadoop版本的選擇

7.2　集群基礎(chǔ)硬件需求

7.3　安裝Hadoop

實(shí)驗(yàn)

實(shí)驗(yàn)一：熟悉常用的 Linux 操作和 Hadoop 操作

實(shí)驗(yàn)二：熟悉常用的 HDFS 操作

實(shí)驗(yàn)三：熟悉常用的 HBase 操作

實(shí)驗(yàn)四：NoSQL 和關(guān)系數(shù)據(jù)庫的操作比較

實(shí)驗(yàn)五：MapReduce 初級(jí)編程實(shí)踐

二、Spark內(nèi)存計(jì)算框架

介紹為什么會(huì)出現(xiàn)Spark？Spark是什么？Spark能做什么？還有Spark安裝、使用以及編程基礎(chǔ)，并初步了解Spark SQL等核心技術(shù)。其中穿插一些Spark的典型應(yīng)用案例，并通過動(dòng)手實(shí)驗(yàn)初步體驗(yàn)Spark的應(yīng)用。

第8章 Spark概述

8．3．1 Spark的出現(xiàn)與發(fā)展

8．3．2 Spark協(xié)議族

8．3．3 Spark的應(yīng)用及優(yōu)勢

第9章 Spark原理

9．1 Spark工作原理

9．2 Spark架構(gòu)及運(yùn)行機(jī)制

9．2．1 Spark系統(tǒng)架構(gòu)與節(jié)點(diǎn)角色

9．2．2 Spark作業(yè)執(zhí)行過程

9．2．3 應(yīng)用初始化

9．2．4 構(gòu)建RDD有向無環(huán)圖

9.2.5RDD有向無環(huán)圖拆分

第10章 RDD算子

10．1 創(chuàng)建算子

10．1．1 基于集合類型數(shù)據(jù)創(chuàng)建RDD

10．1．2 基于外部數(shù)據(jù)創(chuàng)建RDD

10．2 transformation變換算子

10．2．1對(duì)Value型RDD進(jìn)行變換

10．2．2對(duì)Key/Value型RDD進(jìn)行變換

10.3 action行動(dòng)算子

10．3．1 數(shù)據(jù)運(yùn)算類行動(dòng)算子

10．3．2 存儲(chǔ)型行動(dòng)算子

第11章 安裝和使用Spark

11．1 安裝Spark

11．2 編寫和運(yùn)行Spark程序

實(shí)驗(yàn)：

實(shí)驗(yàn)1：Linux系統(tǒng)基本命令和Hadoop使用方法

實(shí)驗(yàn)2：RDD基本操作

實(shí)驗(yàn)3：迭代式算法編程實(shí)踐

實(shí)驗(yàn)4：自定義分匙、排序、合并

實(shí)驗(yàn)5：利用DataFrame實(shí)現(xiàn)數(shù)據(jù)庫的讀寫

實(shí)驗(yàn) 6：利用 Spark Streaming 實(shí)現(xiàn)流數(shù)據(jù)處理