课程培训
大数据Hadoop最佳实践培训课程

 大数据Hadoop最佳实践培训课程

培训内容

第一部分

1个主题:Hadoop思考

1.Hadoop的设计目标和适用场景

2.Hadoop架构解析

3.MapReduce工作原理和案例说明

2个主题:Hadoop集群与管理

1、 Hadoop集群的搭建

2、 Hadoop集群的监控

3、 Hadoop集群的管理

4、 集群下运行MapReduce程序

3主题:彻底掌握HDFS (具备修改HDFS具体源码实现的能力)

1HDFS体系架构剖析

2NameNodeDataNodeSecondaryNameNode架构

3、保证NodeName高可靠性最佳实践

4DataNodeBlock划分的原理和具体存储方式

5、修改NamenodeDataNode数据存储位置

6、使用CLI操作HDFS

7、使用Java操作HDFS

4主题:彻底掌握HDFS (具备修改HDFS具体源码实现的能力)

1RPC架构剖析

2、源码剖析Hadoop构建于RPC之上

3、源码剖析HDFSRPC实现

4、源码剖析客户端与与NameNodeRPC通信

5个主题:彻底掌握MapReduce(从代码的角度剖析MapReduce执行的具体过程并具备开发MapReduce代码的能力)

1MapReduce执行的经典步骤

2wordcount运行过程解析

3MapperReducer剖析

4、自定义Writable

5、新旧API的区别以及如何使用就API

6、把MapReduce程序打包成Jar包并在命令行运行

6个主题:彻底掌握MapReduce(具备掌握Hadoop如何把HDFS文件转化为Key-Value让供Map调用的能力)

1、 Hadoop是如何把HDFS文件转化为键值对的?

2、 源码剖析Hadoop读取HDFS文件并转化为键值对的过程实现

3、 源码剖析转化为键值对后供Map调用的过程实现

7个主题:彻底掌握MapReduce(具备掌握MapReduce内部运行和实现细节并改造MapReduce的能力)

1、 Hadoop内置计数器及如何自定义计数器

2、 Combiner具体的作用和使用以及其使用的限制条件

3、 Partitioner的使用最佳实践

4、 Hadoop内置的排序算法剖析

5、 自定义排序算法

6、 Hadoop内置的分组算法

7、 自定义分组算法

8、 MapReduce常见场景和算法实现

第二部分

1个主题:HBase架构设计和实现剖析

1、 HBase定义

2、 HBaseRDBMS的对比

3、 数据模型

4、 系统架构

5、 HBase上的MapReduce

6、 表的设计

2个主题:HBase集群及其管理

1、 集群的搭建过程讲解

2、 集群的监控

3、 集群的管理

3个主题:HBase客户端

1、 HBase Shell以及演示

2、 Java客户端以及代码演示

4个主题:HBase案例实战1---使用HBase实现微博系统

1. 项目架构和设计

2. 开发环境搭建

3. 实现用户登录和注销

4.“关注”功能的设计和实现

5.“发微博”功能的设计和实现

6.发布和运行整个基于HBase的微博系统

5个主题:HBaseMapReduce

1. HBaseMapReduce的关系

2. HBase如何使用MapReduce

6个主题:HBase案例实战2---话单查询与统计

1. 项目架构设计

2. 开发环境搭建

3. 话单入库和查询的设计与实现

4.统计功能的设计与实现

7个主题:安装和使用Hive

1. Hive剖析

2. 安装Hive

3.Hive的基本使用

8个主题:HiveHDFSMapReduce

1. HiveHDFS存入结构化数据

2. 使用MySQL作为Hive的元数据库

3.HiveMapReduce

第三部分

1个主题:Hive

1. HiveJava扩展开发

2. Hive UDFUDAF开发

3. Hive常见场景,实战练习

2个主题:Hive案例实战---数据统计

1. 项目架构设计

2. 表结构设计

3.数据的插入与统计实现

3个主题:Sqoop

1. Sqoop原理

2. Sqoop使用详解

3. Sqoop实现HDFS/Hive与关系数据库的数据交互

4. Sqoop实现HBase与关系数据库的数据交互

4个主题:电商业日志流量分析项目

电商业日志流量分析项目,互联网企业对海量日志的分析是Hadoop应用的一个重要用途,也是对网站流量、客户行为分析的重要途径。该项目整合HiveHbaseSqoop等常用组件,涉及从后台处理到前台呈现的每一个技术环节。包括:

1·业务需求介绍

2·数据建模

3·后台算法设计

4·后台业务处理

5·前台WEB展示等

5个主题:Hadoop开发者之路

1. Hadoop技能模型

2. Hadoop开发者最佳学习路线和方式

3.Hadoop开发者最佳成长路线




如果您想学习本课程,请预约报名
如果没找到合适的课程或有特殊培训需求,请订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表下载请点击

服务优势:
丰富专家资源,精准匹配相关行业,相关项目技术精英,面向用户实际需求,针对性培训或咨询,互动式交流,案例教学,精品小班,实际工程项目经验分享,快捷高效,节省时间与金钱,少走弯路与错路。

专家力量:
中国科学院相关研究所高级研究人员
西门子,TI,vmware,MSC,Ansys,MDI,Mentor, candence,Altium,Atmel 、Freescale,达索,华为等
大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深专家或讲师
大多名牌大学,硕士以上学历,相关学历背景专业,理论素养高
多年实际项目实践,大型复杂项目实战案例分享,热情,乐于技术分享
针对客户实际需要,真实案例演示,互动式沟通,学有所值
报名表下载
联系我们 更多>>

咨询电话010-62883247

                4007991916

咨询邮箱:soft@info-soft.cn  

 

微信号.jpg

  微信咨询

随时听讲课

聚焦技术实践

订制培训 更多>>