网站公告 | 泰斗网校全新上线了,可以和论坛用户登录同步,如果遇到登录问题联系管理员解决
查看: 13334|回复: 5
收起左侧

【t171200146】基于Python Spark的大数据分析

[复制链接]

【t171200146】基于Python Spark的大数据分析[复制链接]

gzx848383387 发表于 2018-1-5 01:56:24 [显示全部楼层] |只看大图 回帖奖励 |倒序浏览 |阅读模式 回复:  5 浏览:  13334
基于Python Spark的大数据分析

【t171200146】基于Python Spark的大数据分析

【t171200146】基于Python Spark的大数据分析
课程内容: 一、pyspark环境篇 ①python2.7+pycharm环境配置 ②anaconda环境配置 ③python数据结构及函数使用 ④Spark2.x环境配置 2、pyspark基础篇 ①配置pyspark模块到pycharm ②基于pyspark编程实现wordcount(词频统计) ③spark-submit提交spark application ④案例:基于pyspark电商网站数据分析 ⑤深入理解pyspark内部工作原理 3、pyspark进阶篇 ①基于pyspark的sparksql编程(sql和dsl) ②案例:淘宝用户数据分析(集成hive使用) ③如何定义、注册和使用udf ④基于pyspark的sparkstreaming实时计算 ⑤案例:实时销售额统计和商品点击趋势分析
目录
1.基于PySpark数据分析-课程介绍
2.试听一:添加pyspark模块到PyCharm中及完成Python编程Spark模块编写
3.试听二:基于Python编程实现WordCount程序
4.为什么要学习PySpark编程
5.PySpark编程的内容大纲
6.Python介绍.Windows下2.7的安装及测试
7.PyCharm安装.设置及创建工程和测试
8.PySpark第三方包的安装配置
9.基于Python的SparkCore编程模板
10.解决Windows下开发HDFS相关警告
11.并行化本地集合创建RDD及RDD初步使用
12.Python中函数的定义及**函数lambda使用
13.PySpark实现WordCount程序及测试
14.回顾上次课程的内容及本次课程提纲
15.PySpark实现从HDFS读取数据实现WordCount(属性配置)
16.深入WordCount程序之SortByKey
17.深入WordCount程序之Top
18.Anaconda2版本.安装.配置.使用及测试(针对pyspark编程)
19.Spark自带交互式pyspark命令的使用
20.pyspark底层架构及如何提交pyspark程序运行
21.Linux下源码编译安装Python及测试pyspark程序
22.快速掌握SparkStandalone及HistoryServer配置与功能使用
23.运行Python脚本在SparkStandalone集群模式下
24.案例分析:需求分析及读取数据.过滤清洗转换数据
25.案例分析:浏览量PV和访客数UV分析实现
26.案例分析:熟悉RDD中其他API函数的使用
27.PySpark基础使用回顾总结
28.淘宝数据分析:Python的SparkSQL编程及RDD转换为DataFrame
29.淘宝数据分析:Python的DataFrame的SQL和DSL数据分析
30.Linux系统配置pyspark及安装PyCharm的配置
31.Pyspark编程SparkSQL从Hive表和MySQL表读取数据及JOIN分析
32.pyspark中SparkSQL定义函数及在SQL与DSL中使用
33.基于Python的SparkStreaming从Network读取数据处理
34.基于Python的SparkStreaming开发注意事项及自定义输出函数.企业的使用说明
35.项目实战:数据调研和开发流程
36.项目实战:pSparkSQL数据读取.数据解析(正则表达式函数)和数据初步清洗
37.项目实战:数据清洗过滤(SparkSQL函数使用)
38.项目实战:数据转换(日期类型数据处理,自定义UDF使用)
39.高级应用:基于Python语言访问HBase表的数据(Thrift模块及环境配置)
40.项目实战:依据需求数据分析编程测试(一)
41.项目实战:依据需求数据分析编程测试(二)
42.项目实战:依据需求数据分析编程测试(三)及高级知识扩展
基于Python Spark的大数据分析——课程相关资料
基于Python Spark的大数据分析——课程讲义笔记代码
关注公众号,回复t171200146,即可免币获得该视频资源
资源下载
游客,如果您要查看本帖隐藏内容请回复

【t171200146】基于Python Spark的大数据分析

【t171200146】基于Python Spark的大数据分析
+1
13331°C
5
  • gzx848383387
  • sty945
  • 惔の摸摆℡
  • anglecnn
  • 酋长_FBAC
过: 他们
因分享而快乐,学习以自强!
gzx848383387
 楼主|
发表于 2018-1-5 14:31:42 显示全部楼层
因分享而快乐,学习以自强!
sty945 发表于 2018-2-13 23:30:02 显示全部楼层
谢谢楼主分享
因分享而快乐,学习以自强!
惔の摸摆℡ 发表于 2018-7-10 17:47:23 显示全部楼层
感谢分享
因分享而快乐,学习以自强!
anglecnn 发表于 2018-7-27 11:05:12 显示全部楼层
因分享而快乐,学习以自强!
因分享而快乐,学习以自强!
酋长_FBAC 发表于 2018-8-2 18:50:18 显示全部楼层
因分享而快乐,学习以自强!
因分享而快乐,学习以自强!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

VR/AR版块|Unity3d|Unreal4|新手报道|小黑屋|站点地图|沪ICP备14023207号-9|【泰斗社区】-专注互联网游戏和应用的开发者平台 ( 浙ICP 备 13006852号-15 )|网站地图

© 2001-2013 Comsenz Inc.  Powered by Discuz! X3.4

1
QQ