本文章来自程序汪粉丝的亲身经历,一个二本大数据培训找工作的经历分享,希望给大家一些经验参考
来张大头照镇楼
因为投稿程序汪私下微信电话跟他也聊了下,目前他已经工作
教育经历
坐标:北京
背景:普通二本,非计算机专业,培训出身,工作时间四个月
岗位:大数据开发
包装:项目都是培训机构提供的(推荐系统、用户画像、离线数仓、实时框架),加上自己对于大数据的理解,进行了优化和修改
转行之前的背景:工作时间五年,做过的行业比较多(物流仓储、存储技术支持、项目管理、培训宣讲、审计),所以业务理解能力比较强
拿offer情况
目前工作:
外包公司,人员外派到银行负责用户画像开发 薪资(16k*13)
面试:
外包公司面试--
自我介绍
1.kafka 怎么被消费的?
2.如何保证数据幂等性
3.spark和MR的shuffle 有什么不同的地方
甲方面试--
自我介绍
spark、Flink架构和底层运行原理
HQL中on和where有什么区别
spark的job stage task如何划分、spark执行顺序
面试总结:
基本上都是简单的问答,对于技术要求不是很高,实际开发,也就是写HQL语句和shell脚本,ETL和存储。
工作总结:
银行的外包工作基本上是一些体力活,整体来说,接触不到架构、设计、调优等技术,主要工作内容就是写脚本,工作内容轻松,基本没有加班的情况。
offer:
国企下属事业部,业务主要是商业和军用*****的遥感大数据产品,大数据团队规模很小(5人)
待遇:15*14+加不定额项目结项奖金(需要从项目的收益中获取,没有具体金额)
工作内容:大数据部分的开发、也有可能支援前端和后台开发,因为是卖产品,还要负责与甲方进行沟通,后期可能还要负责带领大数据外协进行开发。
描绘的前景很好,但是考虑到国企制度僵化,可能在技术敏感度上没有讲的那么美好,另外就是由于遥感大数据不是市场主流,后续跳槽的话也有可能会有一定影响。
面试内容--
一面(视频面试)
自我介绍
1.zookeeper存储了组件的什么信息
2.Kafka不用zookeeper能不能用
3.spark运行过程
4.spark宽窄依赖
5.flume和Kafka的区别
6.机器学习了解多少
二面(现场面试)
自我介绍
自我介绍完了以后没有问问题。。。直接让HR过来跟我谈薪
自我介绍的内容主要包括
Flume、Kakfa、canal、mysql、Hbase、hive、spark、zeppelin一系列的完整闭环架构
主要讲解了数据可靠性、后续扩容升级方向、优化、二次开发等,业务需求内容。
(实际上面试了4家,有3家提供工资20K-30K,但是明确要求要过去带队。。。所以就只剩这一家了。)
大数据开发入行
由于本人是培训机构出身,所以主要讲一下培训这块的情况。
主要分两种身份--
1.应届生
应届生入行,分两种情况,一种是包装简历,一种是不包装简历。
先说不包装简历,市面上有很多企业,专门去挑985、211应届本科生来进行培养,当然薪资也会相应低一些。
再说包装简历,一般包装简历之后,如果技术不过硬的话,很多人只能选择外包公司来进行过渡,而且由于毕业时间的限制,包装的内容也非常的有限。
以我的了解来看,实际上如果想转行,大三、大四就开始学习这方面的知识,是最好的。越晚越吃亏。
2.有一定工作经验的人
本人就是属于这种情况,如果不是非常想不开,本人非常不建议选择这条道路,一个是沉没成本过高,二是每个人对技术的接受程度有很大的不同。
大数据开发目前由于培训机构持续发力,导致市场愈发饱满,初级职位基本没有,中级职位竞争激烈。
如果是下定决心要走上这条路的话,有几个小建议,一个是要找行业内部人士帮忙进行一下分析,包括自身的有无优势,一些技术基础的学习,行内人和行外人看待问题的角度和眼光真的差距很大。
大数据开发找工作:
目前市场上主要包含几种工作
1.外包
主要分两种,项目外包和人员外包,外包公司虽然风评不是很好,但是准入门槛低,想入行的话,可以先做个跳板,后续发力谋求发展。
2.非外包
基本上要么就是做大数据平台,内部服务。要么就是做大数据产品进行销售。
找工作注意点
大数据这块,有很多挂羊头卖狗肉的皮包公司,喊你过去面试,然后忽悠你进行培训才能上岗,这种可以直接走掉了,不要浪费精力。
岗位职责非常重要,建议面试之前一定要认真阅读,从岗位职责基本上就可以看出公司缺什么人,这样你提前准备有的放矢,效果拔群哈。
年前大数据开发对开发语言这块要求还不是很高,但是年后开始,对于java、Scala出现了一定的要求,但是培训机构这块还没反应过来,没有认识到问题的严重性,自己注意一下。
大数据的技术栈不多,面试问题的角度基本不变,可以多在网上找几分面试题,求同存异。
学习注意点
因为本人也是菜鸡一枚,所以不敢大放厥词,就跟大家分享一下我的学习路线吧
首先,培训机构讲的都是非常基础的东西,很重要。但是培训机构的项目基本都是伪代码,需要你自己进行优化,大数据优化网上一搜一大堆,要尽量把项目圆满,不要有逻辑bug。
除了本机构知识以外,还可以在网上看一些其它机构的培训视频,平台的话 B站就可以。
还有就是一些书籍的阅读,apache开源组件的权威书籍,要看,如果实在没时间,建议至少看一下优化部分。一个是面试的时候,你看面试题就非常简单,二是你实际工作的时候,会有一定的帮助。
还有就是因为大数据架构是不是环环相扣的,所以遇到一个知识点看不懂,没关系,可以继续学下去,触类旁通,最后都会明白的。
大数据这块的技术你看多了以后,你会发现,为了满足一定的要求,不同组件的底层运行原理很有可能是相同或者是非常相似的。
源码部分,如果基础良好的话,一定要多看;如果是速成的,也要挑一些重要的看一下,自己动手写一些,比如Flume的二次开发源码修改,比如spark的RDD源码一定要看,具体看自己能力量力而行。
最后就是选择了这条路就要坚持,要把学习当成一种习惯,否则很快就会被市场淘汰。
11本优质大数据方向资料
获取方式直接扫下方二维码回复:大数据