課程介紹

Hadoop框架主要用來解決海量數(shù)據(jù)的存儲和分析計算問題。是大數(shù)據(jù)開發(fā)工程師所需技術(shù)之一。
課程特點：
1、全程案例貫穿始終，幾乎每個知識點都有配套的案例；
2、整個框架深入源碼講解；
3、優(yōu)化措施來源于企業(yè)開發(fā)；
本課程中你將學(xué)習(xí)到，Hadoop完全分布式集群搭建、Hadoop源碼編譯、HDFS的Shell操作、HDFS的API操作、HDFS的IO流操作、HDFS讀寫數(shù)據(jù)流程、NameNode和SecondaryNameNode工作機(jī)制、DataNode工作機(jī)制、集群節(jié)點動態(tài)服役和退役、HDFS2.x新特性、MapReduce編程規(guī)范、自定義序列化、自定義InputFormat、自定義OutputFormat、分區(qū)、排序、合并、分組、ReduceJoin、MapJoin、數(shù)據(jù)清洗、計數(shù)器、TopN案例、倒排索引案例、MapTask工作機(jī)制、ReduceTask工作機(jī)制、Shuffle工作機(jī)制、MapReduce工作流程、Job提交流程源碼、MapReduce源碼、數(shù)據(jù)壓縮、Yarn工作機(jī)制、作業(yè)提交流程、YARN資源調(diào)度器、MapReduce企業(yè)優(yōu)化、HDFS小文件企業(yè)優(yōu)化、數(shù)據(jù)傾斜優(yōu)化等。