曙海教育集团
全国报名免费热线:4008699035 微信:shuhaipeixun
或15921673576(微信同号) QQ:1299983702
首页 课程表 在线聊 报名 讲师 品牌 QQ聊 活动 就业
 
大数据 Spark案例实践课程

 
  班级规模及环境--热线:4008699035 手机:15921673576( 微信同号)
      每个班级的人数限3到5人,互动授课, 保障效果,小班授课。
  上间和地点
上部份地点:【上海】同济大学(沪西)/新城金郡商务楼(11号线白银路站)【深圳分部】:电影大厦(地铁一号线大剧院站)/深圳大学成教院【北京分部】:北京中山学院/福鑫大楼【南京分部】:金港大厦(和燕路)【武汉分部】:佳源大厦(高新二路)【成都分部】:领馆区1号(中和大道)【沈阳分部】:沈阳理工大学/六宅臻品【郑州分部】:郑州大学/锦华大厦【石家庄分部】:河北科技大学/瑞景大厦
最近开间(周末班/连续班/晚班):2019年1月26日
  实验设备
    ◆小班教学,教学效果好
       
       ☆注重质量☆边讲边练

       ☆合格学员免费推荐工作
       ★实验设备请点击这儿查看★
  质量保障

       1、培训过程中,如有部分内容理解不透或消化不好,可免费在以后培训班中重听;
       2、课程完成后,授课老师留给学员手机和Email,保障培训效果,免费提供半年的技术支持。
       3、培训合格学员可享受免费推荐就业机会。☆合格学员免费颁发相关工程师等资格证书,提升职业资质。专注高端技术培训15年,曙海学员的能力得到大家的认同,受到用人单位的广泛赞誉,曙海的证书受到广泛认可。

部份程大纲
 
  • 目标收益
    本课程将为大家全面而又深入的介绍Spark、Hadoop平台的构建流程,涉及Spark、Hadoo系统基础知识,概念及架构, Spark、Hadoo实战技巧,Spark、Hadoo经典案例等。
    通过本课程实践,帮助学员对Spark、Hadoo生态系统有一个清晰明了的认识;理解Spark、Hadoo系统适用的场景;掌握Spark、Hadoo等初中级应用开发技能;搭建稳定可靠的Spar、Hadoo k集群,满足生产环境的标准;了解和清楚大数据应用的几个行业中的经典案例,包括阿里巴巴,华为等。
  • 培训对象
  • 各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题,需要梳理解答的团队和个人,效果最佳。
  • 学员基础
  • 了解Linux系统及相关语言环境
  • 课程大纲
  • 主题 内容
  •  
  • Spark
    生态介绍
  •  Mapreduce、storm和spark模型的比较和使用场景介绍
     Spark产生背景
     Spark(内存计算框架)
     SparkSteaming(流式计算框架)
     Spark SQL(ad-hoc)
     Mllib(MachineLearning)
     GraphX(bagel将被代)
     DlinkDB介绍
     SparkR介绍
  • Spark
    安装部署
  •  Spark安装简介
     Spark的源码编译
     Spark Standalone安装
     Spark Standalone HA安装
     Spark应用程序部署工具spark-submit
     Spark的高可用性部署
  •  
  • Spark
    运行架构和解析
  •  Spark的运行架构
    • 基本术语
    • 运行架构
    • Spark on Standalone运行过程
    • Spark on YARN 运行过程
     Spark运行实例解析
    • Spark on Standalone实例解析
    • Spark on YARN实例解析
  • Spark
    scala编程
  • • Scala基本语法
    • Scala开发环境搭建
    • Scala开发Spark应用程序
    • 使用java编程
    • 使用scala编程
    • 使用python编程
  • Spark
    编程模型和解析
  •  Spark的编程模型
    • Spark编程模型解析
    • RDD的特点、操作、依赖关系
    • Spark应用程序的配置
  •  
  • Spark Streaming原理和实践
  •  Spark Streaming与Strom的区别
     Kafka的部署
     Kafka与Spark Streaming的整合
     Spark Streaming原理
    • Spark流式处理架构
    • DStream的特点
    • Dstream的操作和RDD的区别
    • Spark Streaming的优化
     Spark Streaming实例
    • 文本实例
    • 网络数据处理
    • Kafka+Spark Streaming实现日志的实时分析案例
  •  
  • Spark
    SQL原理和实践
  •  Spark SQL原理
    • Spark SQL的Catalyst优化器
    • Spark SQL内核
    • Spark SQL和Hive
     Spark SQL的实例和编程
    • Spark SQL的实例操作demo
    • Spark SQL的编程
    • DataFrame架构和原理
    • DataFrame支持的统计和数学函数介绍
    • 从RDD创建DataFrame
    • 从Hive表创建DataFrame
    • 从数据源创建DataFrame
  •  
  • Spark的数据源
  •  Spark与HDFS的整合
     HDFS RDD原理和实现
     Spark与Hbase的整合
     Spark与Cassendera整合
     Hbase RDD的分区读取
     Hbase RDD的原理和实现
     Spark parallelism RDD的工作机制
  •  
  • Spark 数据挖掘
  •  Mllib的介绍
     graphX核心原理
     table operator和graph operator区别
     vertices、edges和triplets介绍
     构建一个graph
     SparkR原理
     SparkR实战
  •  
  • 典型项目
    案例实战
  •  基于spark日志分析
     个性化推荐系统:带你揭开其神秘面纱
     在线投放引擎
     揭开淘宝点击推荐系统的神秘面纱
     淘宝数据服务架构—实时计算平台
  •  
  • Spark的优化
  •  序列化优化——Kryo
     Spark参数优化实战
     Spark 任务的均匀分布策略
     Partition key倾斜的解决方案
     Spark任务的监控
     GC的优化
     Spark Streaming吞吐量优化
     Spark RDD使用内存的优化策略
     Spark在使用中的感想分享
 

-

 

  备案号:沪ICP备08026168号 .(2014年7月11)..............