网站公告 | 泰斗网校全新上线了,可以和论坛用户登录同步,如果遇到登录问题联系管理员解决
查看: 8914|回复: 6
收起左侧

基于Python Spark的大数据分析

[复制链接]

基于Python Spark的大数据分析[复制链接]

gzx848383387 发表于 2018-1-10 10:21:35 [显示全部楼层] |只看大图 回帖奖励 |倒序浏览 |阅读模式 回复:  6 浏览:  8914

基于Python Spark的大数据分析

基于Python Spark的大数据分析

课程研发环境
Anaconda2-4.2.0(Windows 64和Linux 64位)
pycharm-community-2016.2.3
Python-2.7.9
spark-1.6.1-bin-2.5.0-cdh5.3.6
hadoop-2.5.0-cdh5.3.6
hive-0.13.1-chd5.3.6


课程内容:
一、pyspark环境篇
①python2.7+pycharm环境配置
②anaconda环境配置
③python数据结构及函数使用
④Spark2.x环境配置
2、pyspark基础篇
①配置pyspark模块到pycharm
②基于pyspark编程实现wordcount(词频统计)
③spark-submit提交spark application
④案例:基于pyspark电商网站数据分析
⑤深入理解pyspark内部工作原理
3、pyspark进阶篇
①基于pyspark的sparksql编程(sql和dsl)
②案例:淘宝用户数据分析(集成hive使用)
③如何定义、注册和使用udf
④基于pyspark的sparkstreaming实时计算
⑤案例:实时销售额统计和商品点击趋势分析
4、pyspark项目篇
①实战项目:美国宇航局肯尼迪航天中心web日志
②数据统计:数据总览、http响应状态相关统计分析、客户端相关访问统计分析、uri访问相关统计分析
5、bigdata实战篇
①使用hbase的pyton api访问数据
②实战:爬取电子商务网站的图片和商品信息
③python的爬虫(beautifulsoap和mechnize)
④数据存储hbase表及分析
课程目录:


课程一:PySpark课程及环境准备

0101-为什么要学习PySpark编程
0102-ySpark编程的内容大纲
0103-Python介绍、Windows下2.7的安装及测试
0104-PyCharm安装、设置及创建工程和测试
0105-PySpark第三方包的安装配置
0106-基于Python的SparkCore编程模板
0107-解决Windows下开发HDFS相关警告
0108-并行化本地集合创建RDD及RDD初步使用
0109-Python中函数的定义及匿名函数lambda使用
0110-PySpark实现WordCount程序及测试


课程二:PySpark环境准备(二)

0201-回顾上次课程的内容及本次课程提纲
0202-PySpark实现从HDFS读取数据实现WordCount(属性配置)
0203-深入WordCount程序之SortByKey
0204-深入WordCount程序之Top
0205-Anaconda2版本、安装、配置、使用及测试(针对pyspark编程)
0206-Spark自带交互式pyspark命令的使用
0207-pyspark底层架构及如何提交pyspark程序运行



课程三:PySpark基础篇

0301-Linux下源码编译安装Python及测试pyspark程序
0302-快速掌握SparkStandalone及HistoryServer配置与功能使用
0303-运行Python脚本在SparkStandalone集群模式下
0304-案例分析:需求分析及读取数据、过滤清洗转换数据



课程四:PySpark进阶篇(一)

0401-案例分析:浏览量PV和访客数UV分析实现
0402-案例分析:熟悉RDD中其他API函数的使用
0403-PySpark基础使用回顾总结
0404-淘宝数据分析:Python的SparkSQL编程及RDD转换为DataFrame
0405-淘宝数据分析:Python的DataFrame的SQL和DSL数据分析



课程五:PySpark进阶篇(二)

0501-Linux系统配置pyspark及安装PyCharm的配置
0502-pyspark编程SparkSQL从Hive表和MySQL表读取数据及JOIN分析
0503-pyspark中SparkSQL定义函数及在SQL与DSL中使用
0504-基于Python的SparkStreaming从Network读取数据处理



课程六:PySpark项目篇(一)

0601-基于Python的SparkStreaming开发注意事项及自定义输出函数、企业的使用说明
0602-项目实战:数据调研和开发流程
0603-项目实战:pSparkSQL数据读取、数据解析(正则表达式函数)和数据初步清洗



课程七:PySpark项目篇(二)

0701-项目实战:数据清洗过滤(SparkSQL函数使用)
0702-项目实战:数据转换(日期类型数据处理,自定义UDF使用)
0703-高级应用:基于Python语言访问HBase表的数据(Thrift模块及环境配置)




课程八:PySpark项目篇(三)
0801-项目实战:依据需求数据分析编程测试(一)
0802-项目实战:依据需求数据分析编程测试(二)
0803-项目实战:依据需求数据分析编程测试(三)及高级知识扩展


离线视频全集和课程资源下载
游客,如果您要查看本帖隐藏内容请回复

+1
8912°C
6
  • sty945
  • sty945
  • DZG
  • 205wjm
  • anglecnn
过: 他们
因分享而快乐,学习以自强!
sty945 发表于 2018-1-24 18:05:57 显示全部楼层
太好了谢谢分析
因分享而快乐,学习以自强!
sty945 发表于 2018-2-14 00:27:45 显示全部楼层
压缩密码是多少啊?
因分享而快乐,学习以自强!
DZG 发表于 2018-3-1 14:40:09 显示全部楼层
多谢分享   ,因分享而快乐,学习以自强!
因分享而快乐,学习以自强!
205wjm 发表于 2018-7-8 09:42:44 显示全部楼层
因分享而快乐,学习以自强!
anglecnn 发表于 2018-7-27 11:07:02 显示全部楼层
因分享而快乐,学习以自强!
因分享而快乐,学习以自强!
zhaohg 发表于 2018-8-22 15:43:51 显示全部楼层
因分享而快乐,学习以自强!
因分享而快乐,学习以自强!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

VR/AR版块|Unity3d|Unreal4|新手报道|小黑屋|站点地图|沪ICP备14023207号-9|【泰斗社区】-专注互联网游戏和应用的开发者平台 ( 浙ICP 备 13006852号-15 )|网站地图

© 2001-2013 Comsenz Inc.  Powered by Discuz! X3.4

1
QQ