大数据处理（Hadoop/Spark）实战课程
培训对象：
大数据工程师；数据平台开发人员；数据架构师；以及希望掌握Hadoop/Spark生态圈核心技术的数据技术人员。
培训目标：
使学员全面掌握Hadoop和Spark两大主流大数据处理框架的核心技术与实战方法。精通HDFS分布式文件系统、MapReduce计算模型、YARN资源调度。掌握Spark Core、Spark SQL、Spark Streaming的结构化数据处理能力。具备独立完成海量数据的采集、存储、处理与分析的全流程开发能力，能够构建企业级大数据处理平台。
培训内容介绍：
-
大数据技术概述：讲解大数据的概念、特征（4V）与技术挑战。介绍Hadoop生态圈的核心组件（HDFS、MapReduce、YARN、Hive、HBase）与Spark生态圈的演进。对比分析Hadoop与Spark的适用场景。
-
HDFS分布式文件系统：深入讲解HDFS的架构设计（NameNode、DataNode、Secondary NameNode）、数据读写流程与副本机制。学习HDFS Shell操作与Java API编程，实现文件的上传、下载、删除与元数据管理。
-
MapReduce计算模型：讲解MapReduce的设计思想（分而治之）、工作原理与执行流程（Split、Map、Shuffle、Reduce）。学习MapReduce编程模型，实现WordCount、数据去重、倒排索引等经典案例。
-
YARN资源调度：学习YARN的架构设计（ResourceManager、NodeManager、ApplicationMaster）、资源调度器（FIFO、Capacity、Fair）的配置与使用。掌握在YARN上运行MapReduce作业的方法。
-
Hive数据仓库：讲解Hive的架构与工作原理，学习HiveQL数据定义语言（DDL）、数据操作语言（DML）的使用。掌握分区表、分桶表、自定义函数（UDF）的创建与应用。实战基于Hive的用户行为数据分析。
-
HBase分布式数据库：学习HBase的架构设计（HMaster、RegionServer）、数据模型（RowKey、Column Family、TimeStamp）与读写流程。掌握HBase Shell操作与Java API编程，实现实时读写应用。
-
Spark Core基础：讲解Spark的架构设计（Driver、Executor、Cluster Manager）、RDD（弹性分布式数据集）的核心概念与操作（transformation/action）。学习Spark应用程序的编写、打包与提交运行。
-
Spark SQL结构化数据处理：讲解Spark SQL的架构、DataFrame/Dataset API的使用。学习使用Spark SQL进行结构化数据的查询与处理，掌握与Hive的集成方法。实战基于Spark SQL的电商数据分析。
-
Spark Streaming实时流处理：学习Spark Streaming的微批处理架构、DStream编程模型。掌握与Kafka的集成方法，实现实时数据采集与处理。演练实时词频统计、实时指标计算案例。
-
Kafka分布式消息队列：讲解Kafka的架构设计（Producer、Consumer、Broker、Topic、Partition）、消息存储与消费机制。学习Kafka的安装配置、命令行操作与Java API编程，实现高吞吐量消息队列应用。
-
大数据平台搭建与调优：学习Hadoop/Spark集群的安装部署（CDH/HDP/开源版）、配置优化与监控管理。掌握内存调优、并行度调整、数据倾斜处理等性能优化技巧。
-
完整大数据处理项目实战：设计一个完整的大数据离线/实时处理项目（如电商用户行为分析、日志分析系统），涵盖数据采集（Flume/Kafka）、数据存储（HDFS/HBase）、数据处理（MapReduce/Spark）、数据分析（Hive/Spark SQL）、结果可视化（ECharts/Tableau）的全流程。
如果您想学习本课程，请
预约报名
如果没找到合适的课程或有特殊培训需求，请
订制培训
除培训外，同时提供相关技术咨询与技术支持服务，有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表下载请点击
服务优势：
丰富专家资源，精准匹配相关行业，相关项目技术精英，面向用户实际需求，针对性培训或咨询，互动式交流，案例教学，精品小班，实际工程项目经验分享，快捷高效，节省时间与金钱，少走弯路与错路。
专家力量：
中国科学院相关研究所高级研究人员
西门子，TI,vmware，MSC,Ansys，MDI，Mentor, candence,Altium,Atmel 、Freescale,达索，华为等
大型公司高级工程师，项目经理，技术支持专家
中科信软培训中心，资深专家或讲师
大多名牌大学，硕士以上学历，相关学历背景专业，理论素养高
多年实际项目实践，大型复杂项目实战案例分享，热情，乐于技术分享
针对客户实际需要，真实案例演示，互动式沟通，学有所值
