大数据课程公共服务平台
精华资源一览表
厦门大学计算机科学系 林子雨 博士/副教授
(E-mail: ziyulin@xmu.edu.cn, 个人主页：)
扫一扫访问本主页
祝贺《大数据技术原理与应用》授课视频在中国大学MOOC上线（观看视频）
1.《大数据导论（通识课版）》纸质教材
官网：
授课视频：
本书是开设全校公共选修课的理想教材。本书详细阐述了培养具有数据素养的综合型人才所需要的大数据相关知识储备。本书在确定知识布局时，秉持的一个基本原则是，紧紧围绕通识教育核心理念，努力培养学生的数据意识、数据思维、数据伦理和数据能力。全书共11章，内容包括大数据概述，大数据与云计算、物联网、人工智能，大数据技术，大数据应用，大数据安全，大数据思维，大数据伦理，数据共享，数据开放，大数据交易，大数据治理。为了避免陷入空洞的理论介绍，本书在很多章节都融入了丰富的案例，这些案例就发生在我们生活的大数据时代，很具有代表性和说服力，能够让学生直观感受相应理论的具体内涵。
2.《大数据导论》纸质教材
官网：
授课视频：
本书详细阐述了培养复合型大数据专业人才所需要的大数据相关知识。全书共9章，内容包括大数据概述、大数据与其他新兴技术的关系、大数据基础知识、大数据应用、数据采集与预处理、数据存储与管理、数据处理与分析、数据可视化、大数据分析综合案例。在大数据基础知识部分，详细介绍了与培养学生的数据素养相关的知识，包括大数据安全、大数据思维、大数据伦理、数据共享、数据开放、大数据交易和大数据治理。
3.《大数据技术原理与应用（第3版）》纸质教材
官网：
授课视频：
林子雨老师编著的国内高校第一本系统性介绍大数据知识专业教材《大数据技术原理与应用》，教材系统论述了大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、数据仓库Hive、大数据处理架构Spark、流计算、Flink、图计算、数据可视化以及大数据在互联网、生物医学和物流等各个领域的应用。在Hadoop、HDFS、HBase、MapReduce、Spark、Flink等重要章节，安排了入门级的实践操作，让读者更好地学习和掌握大数据关键技术。
4.《Python程序设计基础教程（微课版）》纸质教材
官网：
授课视频：
本书详细介绍了获得Python基础编程能力所需要掌握的各方面技术。全书共15章，内容包括Python语言概述、基础语法知识、程序控制结构、序列、字符串、函数、面向对象程序设计、模块、异常处理、基于文件的持久化、基于数据库的持久化、图形用户界面编程、正则表达式、网络爬虫、常用的标准库和第三方库等。本书每个章节都安排了入门级的编程实践操作，以便读者更好地学习和掌握Python编程方法。本书官网免费提供了全套的在线教学资源，包括讲义PPT、习题、源代码、软件、数据集、上机实验指南等。
5.《数据采集与预处理》纸质教材
官网：
本书详细阐述了大数据领域数据采集与预处理的相关理论和技术。全书共8章，内容包括概述、大数据实验环境搭建、网络数据采集、分布式消息系统Kafka、日志采集系统Flume、数据仓库中的数据集成、ETL工具Kettle、使用pandas进行数据清洗。本书在网络数据采集、Kafka、Flume、Kettle、pandas等重要章节安排了丰富的实践操作，以便读者更好地学习和掌握数据采集与预处理的关键技术。
6.大数据软件安装和编程实践指南（在线版）
官网：
详细学习如何安装运行各种大数据软件以及如何进行初级编程实践，包括Hadoop、HDFS、HBase、MapReduce、Hive、Spark、Flink等安装、操作、编程指南。
7.《大数据基础编程、实验和案例教程（第2版）》纸质教材
官网：
步步引导，循序渐进，详尽的安装指南为顺利搭建大数据实验环境铺平道路
深入浅出，去粗取精，丰富的代码实例帮助快速掌握大数据基础编程方法
精心设计，巧妙融合，八套大数据实验题目促进理论与编程知识的消化和吸收
结合理论，联系实际，大数据课程综合实验案例精彩呈现大数据分析全流程
8.Spark入门级在线教程（Scala版）
官网：
Spark是当前最热门的大数据处理框架，林子雨编著《Spark入门教程（Scala版）》，让初学者零基础零障碍学习Spark。教程采用Scala语言编写Spark应用程序，因此，教程包括Scala入门和Spark入门两个部分的内容。
9.Spark入门级在线教程（Python版）
官网：
Spark是当前最热门的大数据处理框架，林子雨编著《Spark入门教程（Python版）》，让初学者零基础零障碍学习Spark。教程采用Python语言编写Spark应用程序，因此，教程包括Python入门和Spark入门两个部分的内容。同时包含了Python版本的Spark教程。
10.《Spark编程基础（Scala版）》教材
官网：
授课视频：
本书以Scala作为开发Spark应用程序的编程语言，系统介绍了Spark编程的基础知识。全书共8章，内容包括大数据技术概述、Scala语言基础、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming、Spark MLlib等。本书每个章节都安排了入门级的编程实践操作，以便读者更好地学习和掌握Spark编程方法。本书官网免费提供了全套的在线教学资源，包括讲义PPT、习题、源代码、软件、数据集、授课视频、上机实验指南等。
11.《Spark编程基础（Python版）》教材
官网：
授课视频：
本书以Python作为开发Spark应用程序的编程语言，系统介绍了Spark编程的基础知识。全书共8章，内容包括大数据技术概述、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming、Structured Streaming、Spark MLlib等。本书每个章节都安排了入门级的编程实践操作，以便读者更好地学习和掌握Spark编程方法。本书官网免费提供了全套的在线教学资源，包括讲义PPT、习题、源代码、软件、数据集、上机实验指南等。
12.《Flink编程基础（Scala版）》教材
官网：
授课视频：
本书以Scala作为开发Flink应用程序的编程语言，系统介绍了Flink编程的基础知识。全书共8章，内容包括大数据技术概述、Scala语言基础、Flink的设计与运行原理、Flink环境搭建和使用方法、DataStream API、DataSet API、Table API&SQL、FlinkCEP等。本书每个章节都安排了入门级的编程实践操作，以便读者更好地学习和掌握Flink编程方法。本书官网免费提供了全套的在线教学资源，包括讲义PPT、习题、源代码、软件、数据集、授课视频、上机实验指南等。
13.大数据课程实验案例《网站用户购物行为分析》
官网：
采用2000万条用户购物数据集，案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作，涵盖Linux、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用方法。案例适合高校（高职）大数据教学，可以作为学生学习大数据课程后的综合实践案例。
14.Spark课程综合实验案例：淘宝双11数据分析与预测
官网：
本案例采用3000万条用户购物数据集，涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作，涵盖Linux、MySQL、Hadoop、Hive、Sqoop、Eclipse、ECharts、Spark等系统和软件的安装和使用方法。案例适合高校（高职）大数据教学，可以作为学生学习Spark课程后的综合实践案例。
15.Spark课程综合实验案例：Spark+Kafka构建实时分析Dashboard
官网：
本案例涉及数据预处理、消息队列发送和接收消息、数据实时处理、数据实时推送和实时展示等数据处理全流程所涉及的各种典型操作，涵盖Linux、Spark、Kafka、Flask、Flask-SocketIO、Highcharts.js、sockert.io.js、PyCharm等系统和软件的安装和使用方法。案例适合高校（高职）大数据教学，可以作为学生学习大数据课程后的综合实践案例。通过本案例，将有助于学生综合运用大数据课程知识以及各种工具软件，实现数据全流程操作。各个高校可以根据自己教学实际需求，对本案例进行补充完善。
16.基于Python语言的Spark数据处理分析案例集锦
官网：
基于YELP数据集的商业数据分析、2020年美国新冠肺炎疫情数据分析、基于零售交易数据的Spark数据处理与分析、基于地震数据的Spark数据处理与分析、基于Spark的地震数据处理与分析、基于信用卡逾期数据的Spark数据处理与分析、基于 TMDB 数据集的电影数据分析、厦门租房信息分析展示、基于Spark的气象数据处理与分析、基于Spark的音乐专辑数据分析展示
17.基于Scala语言的Flink数据处理分析案例集锦
官网：
（1）基于Flink的美国县域信息分析（2）基于Flink的音乐专辑数据分析展示（3）基于Flink的地震数据处理（4）基于Flink的奥运会数据分析（5）基于Flink的对豆瓣电影数据的分析与处理（6）基于Flink的租房数据处理与分析（7）基于Flink的CVPR近五年论文数据的分析与处理（8）基于Flink的气象数据处理与分析（9）基于Flink的Pokemon数据分析
18.MOOC课程制作流程全记录与经验分享
官网：
完整再现了林子雨老师团队制作精品MOOC课程的全流程，分享了MOOC课程制作的成本、回报、方式方法、基本流程、详细制作过程与技巧、“录屏”方法等。
19.全国高校大数据教学研讨会精彩报告PPT集锦
（1）NDBC2016全国高校大数据教学论坛特邀大会报告PPT集合
（2）第1届全国高校大数据教学研讨会特邀大会报告PPT集合
（3）第2届全国高校大数据教学研讨会特邀大会报告PPT集合
（4）第3届全国高校大数据教学研讨会特邀大会报告PPT集合
（5）第4届全国高校大数据与人工智能教学研讨会特邀大会报告PPT合集
（6）第5届全国高校大数据与人工智能教学研讨会特邀大会报告PPT合集