大数据架构与数据挖掘培训课程
目标收益
本课程将为大家全面而又深入的介绍Hadoop和Spark平台的构建流程,涉及Hadoop和Spark系统基础知识,概念及架构, Hadoop和Spark实战技巧(数据挖掘和机器学习),Hadoop和Spark经典案例等。
通过本课程实践,帮助学员对Hadoop生态系统有一个清晰明了的认识;理解Hadoop系统适用的场景;掌握Hadoop等初 中级应用开发技能;搭建稳定可靠的Hadoop集群,满足生产环境的标准;掌握如何应用hadoop和spark完成数据挖掘和机器学习任务;了解和清楚大数据应用的几个行业中的经典案例。
培训对象
各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题,需要梳理解答的团队和个人,效果最佳。
学员基础
学员学习本课程应具备下列基础知识: 1) 了解Java语言; 2) 了解Linux系统;
3) 数据挖掘基础
课程大纲
 
    
        
            | 主题 | 
            内容 | 
        
        
            | 
             大数据架构概述 
             | 
            
             1. 大数据层级结构 
            介绍大数据系统基本架构与流程 
            2. Hadoop生态系统概述以及版本演化 
            概要介绍Hadoop生态系统及其版本演化历史,并给出hadoop版本选择建议。 
            3. Spark生态系统概述 
            概要介绍Spark生态系统及其特点,并与Hadoop对比 
             | 
        
        
            | 
             数据收集系统Flume与Sqoop 
             | 
            
             介绍如何使用flume和sqoop两个系统将外部流式数据(比如网站日志,用户行为数据等)、关系型数据库(比如MySQL、Oracle等)中的数据导入Hadoop中进行分析和挖掘 
             | 
        
        
            | 
             大数据存储系统HDFS与HBase 
             | 
            
             1.	1. HDFS 2.0 原理、特性与基本架构 
            2.	理论:介绍HDFS 2.0原理与架构,以及使用方式 
            3.	 
            4.	2. HBase原理,基本架构与案例分析 
            5.	理论:介绍HBase应用场景、原理和架构,介绍几个HBase典型应用案例,包括互联网应用案例和银行应用案例。 
             | 
        
        
            | 
             分布式计算技术MapReduce与Hive 
             | 
            
             1. 介绍计算框架MapReduce基本原理,架构及程序设计方式 
            2. 动手编写第一个MapReduce程序 
            3. Hive基本原理及使用方式 
             | 
        
        
            | 
             分布式计算技术Spark 
             | 
            
             1. 介绍计算框架Spark基本原理,架构及程序设计方式 
            2. Spark程序设计 
             | 
        
        
            | 
             数据挖掘与机器学习 
             | 
            
             1. 常见的数据挖掘与机器学习算法 
            2. Hadoop数据挖掘库mahout 
            3. Spark数据挖掘库mllib 
             | 
        
        
            | 
             应用案例1:基于Hadoop的构建数据仓库 
             | 
            
             1. 数据仓库基础介绍 
            2. 如何利用大数据系统构建数据仓库 
            使用Flume+HDFS+MapReduce+Hive构建数据仓库 
            3. 数据仓库基本架构 
            4. 数据仓库应用 
            如报表生成 
             | 
        
        
            | 
             应用案例2:用户画像系统 
             | 
            
             1. 什么是用户画像系统 
            2. 如何构建用户画像系统 
            使用Flume/sqoop+HDFS+HBase+MapReduce/Spark+redis构建用户标签系统 
            3.	用数据挖掘方式构建用户标签  
            应用逻辑回归、聚类、分类等机器学习和数据挖掘算法构建用户标签 
            4.	用户画像系统应用 
            用户画像系统在用户信用等级分级、大数据营销中、用户流失预警、潜在用户分析、异常检测与分析等方面的应用 
             | 
        
        
            | 
             应用案例3:商品推荐系统 
             | 
            
             1. 什么是商品推荐系统 
            2. 商品推荐系统基本架构 
            使用Flume+HDFS +Spark+Redis构建推荐系统 
            3. 推荐算法 
            推荐算法详解 
             | 
        
        
            | 
             应用案例4:数据挖掘系统 
             | 
            
             1. 什么是数据挖掘系统 
            2. 数据挖掘算法的使用 
            以Spark为主,如何设计和实现逻辑回归、聚类、分类等机器学习和数据挖掘算法 
            3. 数据挖掘的典型应用 
             | 
        
    
 
                如果您想学习本课程,请
预约报名
如果没找到合适的课程或有特殊培训需求,请
订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱soft@info-soft.cn,或致电4007991916
技术服务需求表下载请点击
服务优势:
丰富专家资源,精准匹配相关行业,相关项目技术精英,面向用户实际需求,针对性培训或咨询,互动式交流,案例教学,精品小班,实际工程项目经验分享,快捷高效,节省时间与金钱,少走弯路与错路。
专家力量:
中国科学院相关研究所高级研究人员
西门子,TI,vmware,MSC,Ansys,MDI,Mentor, candence,Altium,Atmel 、Freescale,达索,华为等
大型公司高级工程师,项目经理,技术支持专家
中科信软培训中心,资深专家或讲师
大多名牌大学,硕士以上学历,相关学历背景专业,理论素养高
多年实际项目实践,大型复杂项目实战案例分享,热情,乐于技术分享
针对客户实际需要,真实案例演示,互动式沟通,学有所值