高校大数据应用与学科人才培养研讨会高校大数据课程建设经验分享厦门大学 林子雨 博士/助理教授ziyulin@2017年8月3日 山东.烟台 高校大数据课程建设经验分享 |厦门大学 林子雨内容提要大数据课程公共服务平台大数据技术原理与应用课程建设经验大数据处理技术Spark课程建设经验 高校大数据课程建设经验分享 |厦门大学 林子雨大数据课程公共服务平台 高校大数据课程建设经验分享 |厦门大学 林子雨大数据课程公共服务平台建设周期投入资金四年（2013-2017 ）100万+ 高校大数据课程建设经验分享 |厦门大学 林子雨大数据课程公共服务平台打造11大工程平台每年访问量超过100万次 高校大数据课程建设经验分享 |厦门大学 林子雨大数据课程公共服务平台1份精美的平台宣传册 高校大数据课程建设经验分享 |厦门大学 林子雨大数据课程公共服务平台 高校大数据课程建设经验分享 |厦门大学 林子雨大数据课程公共服务平台制作5分钟培训基地宣传片 高校大数据课程建设经验分享 |厦门大学 林子雨大数据课程公共服务平台 高校大数据课程建设经验分享 |厦门大学 林子雨大数据课程公共服务平台开展大数据公开课全国高校巡讲计划巡讲10个省、13个高校、1个科研院所、15场公开课，累计听众人数超过2000人 高校大数据课程建设经验分享 |厦门大学 林子雨大数据课程公共服务平台全力打造示范班级大数据技术基础2013班级大数据技术基础2016班级大数据处理技术Spark2017班级大数据技术原理与应用2017班级 高校大数据课程建设经验分享 |厦门大学 林子雨大数据课程公共服务平台入门级大数据在线课程 《大数据技术原理与应用》 ，开辟大数据课程网络讲授平台 高校大数据课程建设经验分享 |厦门大学 林子雨大数据课程公共服务平台 2016年3月28日林子雨主讲《大数据技术原理与应用》在网易云课堂正式上线 2017年8月1日学习人数超过4万人 99%为5星级最高评价 长期稳居热门排行榜第一名 被众多网友评为“经典课程” MOOC版本即将发布 高校大数据课程建设经验分享 |厦门大学 林子雨大数据课程公共服务平台建设1个大数据课程教师培训交流基地 高校大数据课程建设经验分享 |厦门大学 林子雨大数据课程公共服务平台2016年8月1日-7 日2016年8月14日-20 日第1期第2期2016年9月2 日-4 日2017年1月16日-22 日第3期第4期2017年7月24 日-31日第5期 高校大数据课程建设经验分享 | 厦门大学 林子雨大数据课程公共服务平台举办4次大数据课程教师研讨会 高校大数据课程建设经验分享 |厦门大学 林子雨大数据课程公共服务平台承办3次全国高校教学研讨会 高校大数据课程建设经验分享 |厦门大学 林子雨大数据课程公共服务平台承办NDBC2016全国高校大数据教学论坛 高校大数据课程建设经验分享 |厦门大学 林子雨大数据课程公共服务平台 高校大数据课程建设经验分享 |厦门大学 林子雨大数据课程公共服务平台 高校大数据课程建设经验分享 |厦门大学 林子雨大数据课程公共服务平台 高校大数据课程建设经验分享 |厦门大学 林子雨大数据课程公共服务平台2013年9月，发布在线免费电子书 《大数据技术基础》2014-2016 ，发布并持续更新在线教程《大数据软件安装和基础编程指南》2016年10月，发布免费在线教程 《Spark入门教程》 高校大数据课程建设经验分享 |厦门大学 林子雨大数据课程公共服务平台大数据课程实验案例：网站用户购物行为分析Spark课程综合实验案例：淘宝双11数据分析与预测Spark课程实验案例：Spark+Kafka构建实时分析Dashboard 高校大数据课程建设经验分享 |厦门大学 林子雨大数据课程公共服务平台大数据课程教师交流群（QQ群号：461510122 ）促进大数据课程教师之间的沟通和交流截至目前，已经有来自全国300多所高校的400多名教师加入交流群厦门大学、福建师范大学、厦门理工学院、同济大学、浙江财经大学、安徽大学、大连海洋大学、中北大学、河海大学、中山大学、浙江大学、中国农业大学、重庆邮电大学、华中师范大学、武汉理工大学、贵州师范大学、江西财经大学、山西大学、河北经贸大学、东北大学、山东农业大学、海南大学、中国地质大学、武汉大学、中国传媒大学、湖南大学、中国科技大学…… 高校大数据课程建设经验分享 |厦门大学 林子雨大数据课程公共服务平台微信公众号名称：云谷大数据公众号定位：跟踪行业热点汇集百家观点分享教学经验推荐经典书籍 高校大数据课程建设经验分享 |厦门大学 林子雨内容提要大数据课程公共服务平台大数据技术原理与应用课程建设经验大数据处理技术Spark课程建设经验 高校大数据课程建设经验分享 |厦门大学 林子雨大数据技术原理与应用课程建设经验课程定位教材选择课时安排010203040506实验内容考核方法课程资源 高校大数据课程建设经验分享 |厦门大学 林子雨大数据技术原理与应用课程建设经验课程定位01入门级课程构建知识体系、阐明基本原理引导初级实践、了解相关应用授课对象：本科生（计算机相关专业）知识储备：编程、操作系统、数据库 高校大数据课程建设经验分享 |厦门大学 林子雨大数据技术原理与应用课程建设经验教材选择02 高校大数据课程建设经验分享 |厦门大学 林子雨大数据技术原理与应用课程建设经验教材选择02云计算课程知识要点大数据课程知识要点•云计算概念、云计算体系架构、•大数据处理架构Hadoop数据中心、虚拟化技术（平台•分布式文件系统HDFS虚拟化、资源虚拟化、虚拟机•分布式数据库HBase的动态迁移、云操作系统）、•NoSQL数据库SOA架构及开发技术、云数据•云数据库中心设计与测试、云数据中心•分布式并行编程模型MapReduce维护与管理、云安全架构、桌•流计算面云、PaaS应用开发平台、开•图计算源的云计算管理平台•SparkOpenstack、Docker容器、大数据存储与管理 高校大数据课程建设经验分享 |厦门大学 林子雨大数据技术原理与应用课程建设经验课时安排03章或节主要内容学时安排1 介绍大数据的基本概念和应用领域 ，并阐述大数据、云计算和物联网2的相互关系2 介绍大数据处理架构Hadoop23 分布式文件系统HDFS的基本原理和使用方法44 分布式数据库HBase的基本原理和使用方法45 NoSQL数据库的概念和基本原理26 云数据库的概念和基本原理27 分布式并行编程模型MapReduce原理和使用方法68 流计算基本原理29 图计算基本原理410 数据可视化概念、工具和案例211 大数据在互联网领域的典型应用：推荐系统2 高校大数据课程建设经验分享 |厦门大学 林子雨大数据技术原理与应用课程建设经验04实验内容•全套机房上机实验指南，包含题目和答案•用于入门级大数据课程的上机实验课•每个实验都需要连续4节上机课来完成•每个实验的设计，都充分考虑了学生的基础和能力，力求学生能够在连续4节课的上机时间内，顺利完成课程实验，提交实验报告实验一：熟悉常用的Linux操作和Hadoop操作实验二：熟悉常用的HDFS操作实验三：熟悉常用的HBase操作实验四：NoSQL和关系数据库的操作比较实验五：MapReduce初级编程实践免费在线访问地址：/post/6131/ 高校大数据课程建设经验分享 |厦门大学 林子雨大数据技术原理与应用课程建设经验04实验内容大数据课程实验案例 《网站用户购物行为分析》•采用2000万条用户购物数据集•案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作•涵盖Linux、MySQL、Hadoop、HBase、Hive、Sqoop、R、Eclipse等系统和软件的安装和使用方法•案例适合高校（高职）大数据教学，可以作为学生学习大数据课程后的综合实践案例免费访问地址：/post/7499/ 高校大数据课程建设经验分享 |厦门大学 林子雨大数据技术原理与应用课程建设经验05考核方法平时签到考勤10%上机实验报告20%期末大实验20%期末笔试成绩50% 高校大数据课程建设经验分享 |厦门大学 林子雨大数据技术原理与应用课程建设经验06课程资源大数据软件安装和编程实践指南详细学习如何安装运行各种大数据软件以及如何进行初级编程实践，包括Hadoop、HDFS、HBase、MapReduce、Spark、MongoDB等安装、操作、编程指南访问地址：/post/5663/ 高校大数据课程建设经验分享 |厦门大学 林子雨大数据技术原理与应用课程建设经验06课程资源《大数据技术原理与应用》备课指南详细说明了教师如何备课，包括教学大纲、讲义PPT、授课视频、课后习题、上机题目等访问地址：/post/5637/ 高校大数据课程建设经验分享 |厦门大学 林子雨大数据技术原理与应用课程建设经验06课程资源《大数据技术原理与应用》授课视频网易云课堂林子雨主讲的全套大数据课程视频，供老师上课参考。

课程内容涵盖大数据、云计算和物联网概念及其相互关系、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、图计算、流计算、基于内存的大数据处理框架Spark、基于Hadoop的数据仓库Hive、大数据在不同领域的应用等访问地址：/post/bigdata-online-course/ 高校大数据课程建设经验分享 |厦门大学 林子雨大数据技术原理与应用课程建设经验06课程资源《大数据技术原理与应用》实验指南用于机房统一上机，包含题目和答案实验一：熟悉常用的Linux操作和Hadoop操作实验二：熟悉常用的HDFS操作实验三：熟悉常用的HBase操作实验四：NoSQL和关系数据库的操作比较实验五：MapReduce初级编程实践访问地址：/post/6131/ 高校大数据课程建设经验分享 |厦门大学 林子雨大数据技术原理与应用课程建设经验06课程资源大数据课程教师交流群（QQ群号：461510122 ）促进大数据课程教师之间的沟通和交流截至目前，已经有来自全国300多所高校的400多名教师加入交流群厦门大学、福建师范大学、厦门理工学院、同济大学、浙江财经大学、安徽大学、大连海洋大学、中北大学、河海大学、中山大学、浙江大学、中国农业大学、重庆邮电大学、华中师范大学、武汉理工大学、贵州师范大学、江西财经大学、山西大学、河北经贸大学、东北大学、山东农业大学、海南大学、中国地质大学、武汉大学、中国传媒大学、湖南大学、中国科技大学…… 高校大数据课程建设经验分享 |厦门大学 林子雨内容提要大数据课程公共服务平台大数据技术原理与应用课程建设经验大数据处理技术Spark课程建设经验 高校大数据课程建设经验分享 |厦门大学 林子雨大数据处理技术Spark课程建设经验课程定位教材选择课时安排0102030405实验内容考核方法 高校大数据课程建设经验分享 |厦门大学 林子雨大数据处理技术Spark课程建设经验课程定位01大数据技术进阶学习课程授课对象：本科生、研究生（计算机相关专业）知识储备：Java编程、数据库、操作系统、Hadoop先修课程：入门级大数据课程，比如：大数据技术原理与应用 高校大数据课程建设经验分享 |厦门大学 林子雨大数据处理技术Spark课程建设经验教材选择02在线免费 《Spark入门教程》Spark是当前最热门的大数据处理框架，林子雨编著 《Spark入门教程》 ，让初学者零基础零障碍学习Spark。

教程采用Scala语言编写Spark应用程序，因此，教程包括Scala入门和Spark入门两个部分的内容扫一扫手机访问在线教程免费在线教程：/blog/spark/ 高校大数据课程建设经验分享 |厦门大学 林子雨大数据处理技术Spark课程建设经验教材选择02第一部分：快学Scala第一章 Scala简介第二章 Scala安装第三章 Scala基础声明值和变量、基本数据类型和操作、Range、打印语句、读写文件第四章 控制结构if条件表达式、while循环、for循环、数据结构、数组、列表、元组、集、映射、迭代器第六章 类第七章 对象第八章 继承第九章 特质第十章 模式匹配第十一章 函数式编程函数定义和高阶函数、针对集合的操作、遍历操作、map操作和flatMap操作、filter操作、reduce操作、fold操作、函数式编程实例WordCount 高校大数据课程建设经验分享 |厦门大学 林子雨大数据处理技术Spark课程建设经验第二部分：Spark速成（Spark2.1.0版本）第1章 Spark的设计与运行原理Spark简介、Spark运行架构、RDD的设计与运行原理、Spark的部署模式第2章 Spark的安装与使用Spark的安装与使用、第一个Spark应用程序：WordCount、使用开发工具Intellij idea和Eclipse编写Spark应用程序、Spark集群环境搭建、在集群上运行Spark应用程序第3章 Spark编程基础RDD编程、键值对RDD、共享变量、数据读写（文件数据读写、读写HBase数据）第4章 Spark SQLSpark SQL简介、DataFrame与RDD的区别、DataFrame的创建、从RDD转换得到DataFrame、读取和保存数据（读写Parquet、通过JDBC连接数据库、连接Hive读写数据）第5章 Spark Streaming流计算简介、Spark Streaming简介、DStream操作（DStream操作概述、 输入源[文件流、套接字流、RDD队列流、Apache Kafka、Apache Flume]、转换操作、输出操作）第6章 Spark MLlibSpark MLlib简介、机器学习工作流（机器学习工作流、构建一个机器学习工作流、特征抽取、转化和选择[TF-IDF、Word2Vec、CountVectorizer、标签和索引的转化、卡方选择器] ）、分类与回归（逻辑斯蒂回归分类器、决策树分类器）、聚类算法（KMeans聚类算法、高斯混合模型(GMM)聚类算法）、推荐算法（协同过滤算法） 高校大数据课程建设经验分享 |厦门大学 林子雨大数据处理技术Spark课程建设经验课时安排03章（或节）主要内容学时安排第 章大数据技术概述大数据的基本概念、关键技术和代表性软件12第 章语言基础介绍语言基础语法2 ScalaScala6第 章设计与运行原理概述、生态系统、运行架构、的署和应用方式3 SparkSpark SparkSparkSpark3第 章安装和使用方法 安装、在中运行代码、编写独立应用程序、第4 SparkSpark Spark ShellSpark3一个Spark应用程序：WordCount、使用开发工具编写Spark应用程序、Spark集群环境搭建、在集群上运行Spark应用程序第 章编程基础5 SparkRDD编程、键值对RDD、共享变量、数据读写（文件数据读写、读写6HBase数据）第 章简介、、读写、通过 连接数据库、连6 Spark SQLSpark SQL DataFrame Parquet JDBC3接 读写数据Hive7 Spark Streaming 流计算简介、Spark Streaming简介、DStream操作3第 章第 章简介、机器学习工作流、特征抽取、转化和选择、分类与8 Spark MLlibSpark MLlib6回归、聚类算法、推荐算法合计32 高校大数据课程建设经验分享 |厦门大学 林子雨大数据处理技术Spark课程建设经验04实验内容实验1 ：Linux系统基本命令和Hadoop使用方法实验2 ：RDD基本操作实验3 ：迭代式算法编程实践实验4 ：自定义分区、排序、合并实验5 ：利用DataFrame实现数据库的读写实验6 ：利用Spark Streaming实现流数据处理备注：将放入 《Spark入门教程》教材一起出版 高校大数据课程建设经验分享 |厦门大学 林子雨大数据处理技术Spark课程建设经验04实验内容Spark课程综合实验案例：淘宝双11数据分析与预测本案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作，涵盖Linux、MySQL、Hadoop、Hive、Sqoop、Eclipse、ECharts、Spark等系统和软件的安装和使用方法案例访问地址：/post/8116/ 高校大数据课程建设经验分享 |厦门大学 林子雨大数据处理技术Spark课程建设经验04实验内容大数据课程实验案例：Spark+Kafka构建实时分析Dashboard案例由厦门大学数据库实验室团队开发，旨在满足全国高校大数据教学对实验案例的迫切需求。

本案例涉及数据预处理、消息队列发送和接收消息、数据实时处理、数据实时推送和实时展示等数据处理全流程所涉及的各种典型操作，涵盖Linux、Spark、Kafka、Flask、Flask-SocketIO、Highcharts.js、sockert.io.js、PyCharm等系统和软件的安装和使用方法。案例适合高校（高职）大数据教学，可以作为学生学习大数据课程后的综合实践案例。免费在线实验案例主页：/post/8274/ 高校大数据课程建设经验分享 |厦门大学 林子雨大数据处理技术Spark课程建设经验05考核方法平时签到考勤10%上机实验报告20%期末大实验20%期末笔试成绩50% 高校大数据课程建设经验分享 |厦门大学 林子雨总结：大数据课程建设模式以大量教学实践推动课程和教材建设以平台思维促进教学资源汇聚和共享以迭代方法不断优化升级教学内容自我造血为课程建设提供稳定资金保障 高校大数据课程建设经验分享 |厦门大学 林子雨THANKS敬请指正@林子雨 高校大数据课程建设经验分享 | 厦门大学 林子雨附录：林子雨简介林子雨单位：厦门大学计算机科学系E-mail: ziyulin@个人网页：/linziyu数据库实验室网站：中国高校首个“数字教师”的提出者和建设者中国高校首个大数据课程公共服务平台建设者扫一扫访问个人主页林子雨，男，1978年出生，博士（毕业于北京大学），现为厦门大学计算机科学系助理教授（讲师），曾任厦门大学信息科学与技术学院院长助理、晋江市发展和改革局副局长。

中国计算机学会数据库专委会委员，中国计算机学会信息系统专委会委员。中国高校首个“数字教师”提出者和建设者，厦门大学数据库实验室负责人，厦门大学云计算与大数据研究中心主要建设者和骨干成员，2013年度和2017年度厦门大学奖教金（教学类）获得者。主要研究方向为数据库、数据仓库、数据挖掘、大数据、云计算和物联网，并以第一作者身份在 《软件学报》《计算机学报》和 《计算机研究与发展》等国家重点期刊以及国际学术会议上发表多篇学术论文。作为项目负责人主持的科研项目包括1项国家自然科学青年基金项目(No、1项福建省自然科学青年基金项目(No.2013J05099)和1项中央高校基本科研业务费项目(No.2011121049) ；主持的教学课题包括1项福建省教改课题和1项教育部产学合作育人项目课题；同时，作为课题负责人完成了国家发改委城市信息化重大课题、国家物联网重大应用示范工程区域试点泉州市工作方案、2015泉州市互联网经济调研等课题。编著出版中国高校第一本系统介绍大数据知识的专业教材 《大数据技术原理与应用》并成为畅销书籍；建设了国内高校首个大数据课程公共服务平台，成为国内高校大数据教学知名品牌，平台每年访问量超过100万次；建设了国内高校首个大数据课程教师培训交流基地，已经累计为全国100余高校培养100多名大数据课程教师；主讲厦门大学本科生课程 《数据库系统原理》《大数据技术原理与应用》和研究生课程 《分布式数据库》《大数据处理技术Spark》。

具有丰富的政府和企业信息化培训经验，厦门大学管理学院EDP中心、浙江大学管理学院EDP中心、厦门大学国际关系学院、中国人民大学等特邀培训讲师，曾先后给中国移动通信集团公司、福州马尾区政府、温州市国资委、厦门市物流协会、福建龙岩卷烟厂、贵阳市政府等多家单位和企业开展信息化培训，累计培训人数达3000人以上。 高校大数据课程建设经验分享 |厦门大学 林子雨