课程培训
Hadoop大数据时代培训课程

 Hadoop大数据时代:Hadoop&YarnSpark企业级最佳实践培训课程

培训内容

第一部分

1个主题:Hadoop三问(彻底理解Hadoop

1、 Hadoop为什么是云计算分布式大数据的事实开源标准软件框架?

2Hadoop的具体是如何工作?

3Hadoop的生态架构和每个模块具体的功能是什么?

2个主题:Hadoop集群与管理(具备构建并驾驭Hadoop集群能力)

1、 Hadoop集群的搭建

2、 Hadoop集群的监控

3、 Hadoop集群的管理

4、 集群下运行MapReduce程序

3主题:彻底掌握HDFS(具备开发自己网盘的能力)

1HDFS体系架构剖析

2NameNodeDataNodeSecondaryNameNode架构

3、保证NodeName高可靠性最佳实践

4DataNodeBlock划分的原理和具体存储方式

5、修改NamenodeDataNode数据存储位置

6、使用CLI操作HDFS

7、使用Java操作HDFS

4主题:彻底掌握HDFS(具备修改HDFS具体源码实现的能力)

1RPC架构剖析

2、源码剖析Hadoop构建于RPC之上

3、源码剖析HDFSRPC实现

4、源码剖析客户端与与NameNodeRPC通信

第二部分

1个主题:彻底掌握MapReduce(从代码的角度剖析MapReduce执行的具体过程并具备开发MapReduce代码的能力)

1MapReduce执行的经典步骤

2wordcount运行过程解析

3MapperReducer剖析

4、自定义Writable

5、新旧API的区别以及如何使用就API

6、把MapReduce程序打包成Jar包并在命令行运行

2个主题:彻底掌握MapReduce(具备掌握Hadoop如何把HDFS文件转化为Key-Value让供Map调用的能力)

1、 Hadoop是如何把HDFS文件转化为键值对的?

2、 源码剖析Hadoop读取HDFS文件并转化为键值对的过程实现

3、 源码剖析转化为键值对后供Map调用的过程实现

3个主题:彻底掌握MapReduce(具备掌握MapReduce内部运行和实现细节并改造MapReduce的能力)

1、 Hadoop内置计数器及如何自定义计数器

2、 Combiner具体的作用和使用以及其使用的限制条件

3、 Partitioner的使用最佳实践

4、 Hadoop内置的排序算法剖析

5、 自定义排序算法

6、 Hadoop内置的分组算法

7、 自定义分组算法

8、 MapReduce常见场景和算法实现

4个主题:某知名电商公司Hadoop实施全程揭秘(具备掌握商业级别Hadoop的分析、开发、部署的全过程的能力)

通过电商公司现场案例展示商业级别一个完整项目的分析、开发、部署的全过程

第三部分

1个主题:YARN(具备理解和使用YARN的能力)

1YARN的设计思想

2YARN的核心组件

3YARN的共组过程

4YARN应用程序编写

2个主题:ResourceManager深度剖析(具备深刻理解ResourceManager的能力)

1ResourceManager的架构

2ClientRMService AdminService 

3NodeManager

4、 Container

5、 Yarn的 HA机制

3个主题:NodeManager深度剖析(具备掌握NodeManagerContainer的能力)

1、 NodeManager架构

2、 Container Management

3、 Container  lifecycle

4、  资源管理与隔离

4堂课:Spark的架构设计(具备掌握Spark架构的能力)

1.1 Spark生态系统剖析

1.2 Spark的架构设计剖析

1.3 RDD计算流程解析

1.4 Spark的出色容错机制

第四部分

1堂课:深入Spark内核

1 Spark集群

任务调度

3 DAGScheduler

4 TaskScheduler

5 Task内部揭秘

2堂课:Spark SQL

1 Parquet支持

2 DSL

3 SQL on RDD

3堂课:Spark的机器学习

1 LinearRegression

2 K-Means

3 Collaborative Filtering

4堂课:Spark的图计算GraphX

1 Table Operators

2 Graph Operators

3 GraphX

 




如果您想学习本课程,请预约报名
如果没找到合适的课程或有特殊培训需求,请订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表下载请点击

服务优势:
丰富专家资源,精准匹配相关行业,相关项目技术精英,面向用户实际需求,针对性培训或咨询,互动式交流,案例教学,精品小班,实际工程项目经验分享,快捷高效,节省时间与金钱,少走弯路与错路。

专家力量:
中国科学院相关研究所高级研究人员
西门子,TI,vmware,MSC,Ansys,MDI,Mentor, candence,Altium,Atmel 、Freescale,达索,华为等
大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深专家或讲师
大多名牌大学,硕士以上学历,相关学历背景专业,理论素养高
多年实际项目实践,大型复杂项目实战案例分享,热情,乐于技术分享
针对客户实际需要,真实案例演示,互动式沟通,学有所值
报名表下载
联系我们 更多>>

咨询电话010-62883247

                4007991916

咨询邮箱:soft@info-soft.cn  

 

微信号.jpg

  微信咨询

随时听讲课

聚焦技术实践

订制培训 更多>>