大数据开发工程师培训大纲

培训对象

• 希望进入大数据领域的Java/Python开发工程师

• 从事数据平台建设、数据仓库开发的IT人员

• 高校计算机、软件工程等专业的教师和学生

培训目标

通过本课程的系统学习，使学员全面掌握Hadoop/Spark生态体系的核心技术，具备大数据平台搭建、数据采集、离线/实时计算、数据仓库建模等能力，能够独立完成大数据应用开发。

培训内容

1. 大数据技术生态概述：介绍Hadoop生态系统组件、Lambda架构与Kappa架构-4。

2.  

3. Hadoop HDFS分布式文件系统：学习HDFS架构、读写原理与高可用配置。

4.  

5. MapReduce分布式计算框架：掌握MapReduce编程模型、Shuffle过程优化。

6.  

7. Hive数据仓库：学习Hive表操作、分区与分桶、HQL优化技巧。

8.  

9. Flume数据采集：掌握Flume架构、Source/Channel/Sink配置、自定义拦截器。

10.  

11. Kafka分布式消息队列：学习Kafka架构、生产者/消费者API、Exactly-Once语义保证。

12.  

13. ZooKeeper分布式协调：理解Paxos/Zab协议，掌握分布式锁实现方法-4。

14.  

15. Spark Core核心编程：系统学习RDD算子、宽窄依赖、任务调度机制。

16.  

17. Spark SQL结构化数据处理：掌握DataFrame/Dataset API、Spark与Hive集成。

18.  

19. Spark Streaming实时计算：学习微批处理原理、有状态计算、窗口操作。

20.  

21. 数据湖技术：介绍Delta Lake、Hudi、Iceberg等技术原理与应用场景。

22.  

23. 综合项目实战：电商用户行为分析平台：完成从数据采集、实时计算到报表展示的完整大数据项目开发-6。

如果您想学习本课程，请预约报名
如果没找到合适的课程或有特殊培训需求，请订制培训
除培训外，同时提供相关技术咨询与技术支持服务，有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表下载请点击

服务优势：
丰富专家资源，精准匹配相关行业，相关项目技术精英，面向用户实际需求，针对性培训或咨询，互动式交流，案例教学，精品小班，实际工程项目经验分享，快捷高效，节省时间与金钱，少走弯路与错路。

专家力量：
中国科学院相关研究所高级研究人员
西门子，TI,vmware，MSC,Ansys，MDI，Mentor, candence,Altium,Atmel 、Freescale,达索，华为等
大型公司高级工程师，项目经理，技术支持专家
中科信软培训中心，资深专家或讲师
大多名牌大学，硕士以上学历，相关学历背景专业，理论素养高
多年实际项目实践，大型复杂项目实战案例分享，热情，乐于技术分享
针对客户实际需要，真实案例演示，互动式沟通，学有所值

 点击进入报名表

咨询电话：010-62883247

                4007991916

咨询邮箱：soft@info-soft.cn  

 

微信咨询 随时听讲课 聚焦技术实践