数据方向的毕业选题基本上就脱了xxx管理系统了。我当时是在大数据组实习,然后自学大数据,毕业的时候选择了大数据方向的毕业论文。

我设计的部分就是:

在虚拟机搭建Hadoop、hive、kafka、zookeeper集群使用Java(当时还不会用python)采集了168w数据,放入到了mysql中用flume将mysql中的数据实时写入到了kafka中scala开发sparkstreaming读取kafka数据进行处理,然后写入kafka使用flume将kafka数据写入到了hdfs,然后加载到hive进行hsql分析使用springboot和vue开发前端将数据进行查询和图形化展示,对接了echart和百度map。

其中步骤1对应大数据集群的搭建,2、3对应数据采集,4 - 5对应ETL和数据分析,6对应数据展现。虽然现在看起来没有什么技术含量,但是希望对你毕设题目的选题有所帮助。

-------分割线-------

2022年对于大数据毕业设计做了一些优化。

第一篇是大数据平台的搭建部分,是利用docker容器化技术,在一台主机上搭建了多个节点的HDP集群,包括Hadoop、hive、yarn、kafka等。这个平台具有ambari管理,在网页上监控集群运行情况,启停集群等。可以参考下列文章。

第二篇想写上层应用的建设,主要讲讲前后端的一些技术,还在写。。。


本文由转载于互联网,如有侵权请联系删除!