大数据开发是指把各种数据源的数据有效聚合,分析和处理,并将分析结果用于更好的决策和业务规划的过程。下面是大数据开发求职简历项目经验范文，供大家参考。

范文1

项目名称：xx业务实时分析平台

项目周期：2021.02-至今(2年4个月)

参与角色：大数据开发工程师

所属公司：xx力创电子商务有限公司

描述

基于Flink框架搭建实时电商业务分析平台，通过对业务数据和用户行为数据的分析，实时了解商品的销售情况，用户行为等，为公司的销售策略、活动策略提供实时数据支撑，助力营销业务的数字化转型。

职责

参与项目组件选型，解决版本兼容性问题。

将MySQL的业务数据和日志服务器的用户行为数据采集到Kafka的ods层；

通过Flink-cdc监控MySQL配置表，实现ods层的维度表动态写入HBase。

通过需求分析，进行数据清洗，建立dwd层表。

在dws层表需求连接HBase获取维度时，进行优化，采用Redis旁路缓存，线程池和多客户端的方式进行异步IO读取，最终写入Doris，以便后续实现需求和可视化。

通过动态传参的方式配置job资源。

进行代码优化，解决由于数据倾斜导致的反压。8.针对不同需求优化大状态的，解决大状态导致的checkpoint超时问题。

范文2

项目名称：xx业务离线分析平台

项目周期：2020.03-2021.02(11个月)

参与角色：大数据开发工程师

所属公司：xx力创电子商务有限公司

描述

该项目主要是对平台网站用户的各种行为（访问行为、加购行为、下单行为等）进行离线分析，统计每日活跃用户数、新增用户数、转化率、留存率、GMV、热门商品等指标。

职责

参与项目组件选型，解决版本兼容性问题。

数据调研，需求分析，通过维度建模理论完成业务总线矩阵，分层建立数仓。

对不同的数据源采用不同的采集框架，采集数据到HDFS。

做好原始数据的保存，清洗数据，合理规划分层，减少数据的重复计算。

完成需求的指标，采用DophinScheduler进行定时调度。

优化项目，解决数据的零点漂移问题，HDFS的小文件问题，数据倾斜的问题等。7.进行数据质量监控和维护血缘关系。

范文3

项目名称：在线教育离线分析平台

项目周期：2018.11-2020.02(1年3个月)

参与角色：大数据开发工程师

所属公司：xx誉天智骏教育科技有限公司

描述

为了了解学生的学习情况，建立离线数据仓库，统计学生的学习进度，考试情况，对知识点的掌握程度等需求。根据结果更好的调整教学方案，优化教学流程，提高教学质量。

职责

主要工作包括：

从0-1搭建离线数仓，确定框架，解决版本兼容性问题。

数据调研，需求分析，选择与需求相关的业务过程，采用维度建模理论完成业务总线矩阵，确定维度，分层建立数仓（ods层，dwd层，dim层，dws层，ads层）。

对不同的数据源采用不同的采集框架，采集数据到HDFS。

做好原始数据的保存，清洗数据，合理规划分层，减少数据的重复计算。

完成需求的指标，采用Azkaban进行定时调度。

优化项目，解决数据的零点漂移问题，HDFS的小文件问题，数据倾斜的问题等。

进行数据质量监控和维护血缘关系。

日常的维护与需求的开发。

范文4

项目名称：xx数据中台

项目周期：2018.07-2020.11(2年4个月)

参与角色：大数据开发

所属公司：中移物联网

描述

it+intellij IDEA(开发工具)，节点500内存128T存储15PB(硬件环境)，Spring MVC+Mybaits+Vue+Gis+Redis+PostgreSQL+Hbase+Hive+Impala+Spark+Spark Streaming+Flume NG+Sqoop+Scala+Python+Java(软件环境)。

职责

主要工作：

数据中台项目方案规划讨论验证。

数据规范制定。

底层模型创建。