培訓(xùn)背景

課程通過(guò)完整的大數(shù)據(jù)開(kāi)發(fā)項(xiàng)目及一組實(shí)際項(xiàng)目訓(xùn)練與實(shí)戰(zhàn)案例，完全覆蓋Hadoop與Spark生態(tài)系統(tǒng)平臺(tái)的應(yīng)用開(kāi)發(fā)與運(yùn)維實(shí)踐。課堂實(shí)踐項(xiàng)目以項(xiàng)目小組的形式進(jìn)行沙盤(pán)實(shí)操練習(xí)，重點(diǎn)強(qiáng)化理解Hadoop與Spark大數(shù)據(jù)項(xiàng)目各個(gè)階段的工作重點(diǎn)，同時(shí)掌握作為大數(shù)據(jù)項(xiàng)目管理者的基本技術(shù)與業(yè)務(wù)素養(yǎng)。

培訓(xùn)收益

1.掌握業(yè)界最流行的MapReduce分布式計(jì)算框架關(guān)鍵技術(shù)、工作機(jī)制與編程模型，以及MapReduce最佳實(shí)踐開(kāi)發(fā)技術(shù)，包括cominber、partition和shuffle優(yōu)化；

2.掌握基于內(nèi)存的大數(shù)據(jù)統(tǒng)一編程框Spark核心技術(shù)、RDD數(shù)據(jù)模型、DAG圖執(zhí)行模式、緩存機(jī)制、容錯(cuò)機(jī)制、分布式系統(tǒng)架構(gòu)，以及基于Scala的編程開(kāi)發(fā)模型、常用數(shù)據(jù)處理函數(shù)、性能優(yōu)化技術(shù)；

3.掌握大數(shù)據(jù)分布式文件系統(tǒng)HDFS關(guān)鍵機(jī)制、分布式系統(tǒng)架構(gòu)、高可用方案、擴(kuò)容方案、運(yùn)維參數(shù)與性能優(yōu)化；

4.掌握Hadoop分布式集群部署、參數(shù)設(shè)置與運(yùn)維關(guān)鍵技術(shù)；

5.掌握YARN框架工作機(jī)制、關(guān)鍵組件，以及資源調(diào)度器的工作原理、常用調(diào)度策略和優(yōu)化方向；

6.掌握NoSQL分布式數(shù)據(jù)庫(kù)HBase工作機(jī)制、分布式系統(tǒng)架構(gòu)、數(shù)據(jù)組織方式、讀寫(xiě)機(jī)制，以及HBase表模式設(shè)計(jì)最佳實(shí)踐；

7.掌握基于MapReduce和Spark的大數(shù)據(jù)倉(cāng)庫(kù)Hive與SparkSQL的工作原理，常見(jiàn)SQL操作，存儲(chǔ)格式優(yōu)化，分區(qū)/分桶技術(shù)；

8.掌握經(jīng)典數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)算法，掌握基于Spark的機(jī)器學(xué)習(xí)算法庫(kù)MLlib，及其數(shù)據(jù)模型和編程開(kāi)發(fā)模型，掌握基于大數(shù)據(jù)的推薦技術(shù)與協(xié)同過(guò)濾算法；

9.掌握大數(shù)據(jù)分布式協(xié)同管理系統(tǒng)Zookeeper原理知識(shí)和應(yīng)用場(chǎng)景；

10.深入理解大數(shù)據(jù)平臺(tái)主流技術(shù)架構(gòu)和各關(guān)鍵組件適用場(chǎng)景；

11.嫻熟運(yùn)用Hadoop與Spark大數(shù)據(jù)技術(shù)體系規(guī)劃解決方案滿足實(shí)際項(xiàng)目需求；

12.通過(guò)實(shí)戰(zhàn)操作熟練地掌握基于Hadoop與Spark大數(shù)據(jù)平臺(tái)進(jìn)行應(yīng)用程序開(kāi)發(fā)、集群運(yùn)維管理和性能調(diào)優(yōu)技巧。

培訓(xùn)特色

本課程的授課師資都是有著多年在一線從事Hadoop與Spark大數(shù)據(jù)項(xiàng)目的資深講師，采用原理技術(shù)剖析和實(shí)戰(zhàn)案例相結(jié)合的方式開(kāi)展互動(dòng)教學(xué)、強(qiáng)化以建立大數(shù)據(jù)項(xiàng)目解決方案為主體的應(yīng)用開(kāi)發(fā)、技術(shù)討論與交流咨詢，在學(xué)習(xí)的同時(shí)促進(jìn)講師學(xué)員之間的交流，讓每個(gè)學(xué)員都能在課程培訓(xùn)過(guò)程中學(xué)到實(shí)實(shí)在在的大數(shù)據(jù)技術(shù)知識(shí)體系，以及大數(shù)據(jù)技術(shù)應(yīng)用實(shí)戰(zhàn)技能，具備實(shí)際大數(shù)據(jù)應(yīng)用項(xiàng)目的動(dòng)手開(kāi)發(fā)實(shí)踐與運(yùn)維管理部署能力。

課程大綱