Tag：Spark  源码分析  实战

Spark核心源码分析与开发实战
书名页
版权页
前言
目录
第1章  Spark系统概述
     1.1  Spark是什么
     1.2  Spark生态系统BDAS
          1.2.1  SparkCore
          1.2.2  SparkSQL
          1.2.3  SparkStreaming
          1.2.4  SparkGraphX
          1.2.5  MLlib
          1.2.6  Tachyon
          1.2.7  BlinkDB
     思考题
第2章  Spark安装和集群部署
     2.1  搭建Hadoop分布式集群
          2.1.1  安装VMware虚拟机
          2.1.2  安装Ubuntu的镜像文件
          2.1.3  安装JDK
          2.1.4  搭建另外两台Ubuntu系统并配置SSH免密码登录
          2.1.5  安装Hadoop和搭建Hadoop分布式集群
     2.2  Spark安装和集群部署
          2.2.1  安装Scala
          2.2.2  安装Spark和集群部署
     2.3  测试Spark集群
          2.3.1  通过Spark提供的示例LocalPi测试Spark集群
          2.3.2  通过SparkShell测试Spark集群
     思考题
第3章  SparkRDD与SparkAPI编程实践
     3.1  RDD介绍
          3.1.1  RDD是Spark的核心抽象
          3.1.2  RDD的特征
     3.2  RDD的操作分类
          3.2.1  输入操作
          3.2.2  转换操作
          3.2.3  行动操作
          3.2.4  控制操作
     3.3  SparkShell下的SparkAPI编程实践
          3.3.1  Local模式下实践map、filter和collect方法
          3.3.2  集群模式下实践textFile、sortByKey和saveAstextFile方法
          3.3.3  集群模式下实践union、join、reduce和lookup方法
          3.3.4  搜狗日志数据分析实践
     3.4  基于IntelliJIDEA使用SparkAPI开发应用程序
          3.4.1  搭建和设置IntelliJIDEA开发环境
          3.4.2  在IntelliJIDEA下开发并部署Spark应用程序
          3.4.3  使用SBT编译Spark应用程序
          3.4.4  使用Maven构建Spark应用程序
          3.4.5  Spark工具
     思考题
第4章  Spark的运行模式
     4.1  Spark的运行模式概览
          4.1.1  Spark的基本工作流程
          4.1.2  Spark应用程序部署
     4.2  Local模式
          4.2.1  Local模式实例部署及运行演示
          4.2.2  Local模式内部实现原理
     4.3  Standalone模式
          4.3.1  Standalone模式实例部署及运行演示
          4.3.2  Standalone模式内部实现原理
     4.4  Yarn－Cluster模式
          4.4.1  Yarn－Cluster模式实例部署及运行演示
          4.4.2  Yarn－Cluster模式内部实现原理
     4.5  Yarn－Client模式
          4.5.1  Yarn－Client模式实例部署及运行演示
          4.5.2  Yarn－Client模式内部实现原理
     4.6  Mesos模式
          4.6.1  Mesos模式实例部署及运行演示
          4.6.2  Mesos模式内部实现原理
     思考题
第5章  Spark的运行机制
     5.1  Spark集群的架构
     5.2  Spark的作业和任务调度
          5.2.1  SparkApplication提交
          5.2.2  作业（Job）提交
          5.2.3  DAGScheduler划分Stage并提交
          5.2.4  TaskScheduler提交Task
          5.2.5  Executor运行Task并返回结果
          5.2.6  Driver的处理
     5.3  容错机制
          5.3.1  Lineage机制
          5.3.2  Checkpoint机制
     5.4  Storage存储模块
          5.4.1  Storage模块整体架构
          5.4.2  缓存实现原理
          5.4.3  缓存策略
     5.5  Spark的消息传递机制Akka
          5.5.1  Akka架构解析
          5.5.2  Akka驱动下的start－all.sh源码解析
     5.6  Shuffle机制
          5.6.1  Shuffle的原理
          5.6.2  Shuffle的写操作
          5.6.3  Shuffle的读操作
     5.7  共享变量
          5.7.1  广播变量
          5.7.2  累加器
     5.8  Spark性能调优
          5.8.1  数据序列化
          5.8.2  内存优化
          5.8.3  其他优化方法
     思考题
第6章  SparkSQL
     6.1  SparkSQL原理和实现
          6.1.1  SparkSQL简介
          6.1.2  SparkSQL运行架构
          6.1.3  Hive在Spark上的使用
          6.1.4  源码解析SQL语句和HiveQL语句的执行过程
     6.2  SparkSQL的操作实例
          6.2.1  文本文件操作以及DSL操作
          6.2.2  Parquet文件以及JSON文件操作
          6.2.3  Hive数据操作演示（订单交易数据操作）
          6.2.4  SparkSQL处理交通数据实战
     思考题
第7章  SparkStreaming
     7.1  SparkStreaming运行原理
          7.1.1  SparkStreaming简介
          7.1.2  编程模型DStream
          7.1.3  容错和持久化
          7.1.4  性能调优
          7.1.5  监控应用
     7.2  源码解析SparkStreaming的运行过程
          7.2.1  StreamingContext初始化并启动
          7.2.2  数据接收
          7.2.3  数据处理
     7.3  SparkStreaming操作实例演示
          7.3.1  文本数据操作实例演示
          7.3.2  网络数据操作实例———销售模拟器演示
          7.3.3  有状态（Stateful）操作实例演示
          7.3.4  Window操作实例演示
          7.3.5  SparkStreaming处理多源数据实战
     思考题
第8章  SparkGraphX
     8.1  图的定义和应用
          8.1.1  图的定义
          8.1.2  图的应用
     8.2  SparkGraphX简介
          8.2.1  弹性分布式属性图
          8.2.2  SparkGraphX图的切分和存储策略
          8.2.3  SparkGraphX图的操作
     8.3  SparkGraphX架构
          8.3.1  Pregel图计算框架
          8.3.2  SparkGraphX的实现
          8.3.3  SparkGraphX图算法的实现方法
     8.4  SparkGraphX图操作实例
          8.4.1  基于SparkGraphX的属性图的操作实例
          8.4.2  SparkGraphX图算法操作实例
          思考题
第9章  MLlib
     9.1  机器学习简介
          9.1.1  机器学习的定义
          9.1.2  机器学习的分类
          9.1.3  机器学习的常用算法
     9.2  MLlib的简介
          9.2.1  什么是MLlib
          9.2.2  MLlib的架构
          9.2.3  MLlib的数据类型
          9.2.4  MLlib的算法
     9.3  MLlib常用算法操作实践
          9.3.1  K－Means算法解析和实践
          9.3.2  协同过滤算法分析和案例实践
     思考题

BCCN本地下载 

 

>> 评论

 

热门Tag：