如何成为一个大数据开发工程师?

论坛 期权论坛 期权     
迷路的麋鹿   2018-10-15 23:20   8640   10
如题所示,大数据大数据,个个都在喊 但究竟什么是大数据开发,如何成为一个大数据开发工程师?请大神指路  PS 本人学JAVA
分享到 :
0 人收藏

10 个回复

倒序浏览
2#
高阔  3级会员 | 2018-10-15 23:20:21 发帖IP地址来自
看到很多问大数据的问题,天善学院里面有一套 Hadoop 入门及其基础学习【连载更新中】 人民日报的大数据专家录制的课程,免费的,我自己看了一下挺不错的。,感兴趣的可以学习一下。推荐给大家。
3#
detail lee  3级会员 | 2018-10-15 23:20:22 发帖IP地址来自
linux hadoop hive hbase spark
4#
Dtinone  2级吧友 | 2018-10-15 23:20:23 发帖IP地址来自
大数据技术非常繁多,建议大家在入门学习时掌握一些业界主流的技术即可:hadoop、hbase、Hive、MongoDB、Redis、Spark、ES、Solr等即可,其他技术可以在实际项目中不断积累。
5#
故笙  1级新秀 | 2018-10-15 23:20:24 发帖IP地址来自

6#
匿名用户   | 2018-10-15 23:20:25 发帖IP地址来自
提示: 作者被禁止或删除 内容自动屏蔽
7#
王鹏  5级知名 | 2018-10-15 23:20:26 发帖IP地址来自
大同市聚人人力资源服务有限公司
8#
shuoshuo930  2级吧友 | 2018-10-15 23:20:27 发帖IP地址来自
超级有用 收藏了
9#
道丞教育  1级新秀 | 2018-10-15 23:20:28 发帖IP地址来自
大数据是眼下非常时髦的技术名词,与此同时自然也催生出了一些与大数据处理相关的职业,通过对数据的挖掘分析来影响企业的商业决策。


数据工程师是做什么的?
于是每家公司对大数据工作的要求不尽相同:有的强调数据库编程、有的突出应用数学和统计学知识、有的则要求有咨询公司或投行相关的经验、有些是希望能找到懂得产品和市场的应用型人才。正因为如此,很多公
司会针对自己的业务类型和团队分工,给这群与大数据打交道的人一些新的头衔和定义:数据挖掘工程师、大数据专家、数据研究员、用户分析专家等都是经常在国内公司里出现的标题,我们将其统称为“大数据工程
师”。
由于国内的大数据工作还处在一个有待开发的阶段,因此能从其中挖掘出多少价值完全取决于工程师的个人能力。已经身处这个行业的专家给出了一些人才需求的大体框架,包括要有计算机编码能力、数学及统计学相
关背景,当然如果能对一些特定领域或行业有比较深入的了解,对于其快速判断并抓准关键因素则更有帮助。
除此之外,一个优秀的大数据工程师要具备一定的逻辑分析能力,并能迅速定位某个商业问题的关键属性和决定因素。学习能力能帮助大数据工程师快速适应不同的项目,并在短时间内成为这个领域的数据专家;沟通
能力则能让他们的工作开展地更顺利,因为大数据工程师的工作主要分为两种方式:由市场部驱动和由数据分析部门驱动,前者需要常常向产品经理了解开发需求,后者则需要找运营部了解数据模型实际转化的情况。
因此分析历史、预测未来、优化选择,这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向,他们帮助企业做出更好的商业决策。


1.找出过去事件的特征
大数据工程师一个很重要的工作,就是通过分析数据来找出过去事件的特征。
找出过去事件的特征,最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹,就能够了解这个人,并预测他的行为。


2.预测未来可能发生的事情
通过引入关键因素,大数据工程师可以预测未来的消费趋势。


3.找出最优化的结果
根据不同企业的业务性质,大数据工程师可以通过数据分析来达到不同的目的。


需要具备的能力
1.数学及统计学相关的背景
2.计算机编码能力
3.对特定应用领域或行业的知识


如何成为大数据工程师
由于目前大数据人才匮乏,对于公司来说,很难招聘到合适的人才—既要有高学历,同时最好还有大规模数据处理经验。因此很多企业会通过内部挖掘。


薪酬待遇
作为IT类职业中的“大熊猫”,大数据工程师的收入待遇可以说达到了同类的顶级。国内IT、通讯、行业招聘中,有10%都是和大数据相关的,且比例还在上升。在美国,大数据工程师平均每年薪酬高达17.5万美元,
而据了解,在国内顶尖互联网类公司,同一个级别大数据工程师的薪酬可能要比其他职位高20%至30%,且颇受企业重视。


职业发展路径
由于大数据人才数量较少,因此大多数公司的数据部门一般都是扁平化的层级模式,大致分为数据分析师、资深研究员、部门总监3个级别。大公司可能按照应用领域的维度来划分不同团队,而在小公司则需要身兼数
职。另一方面,大数据工程师对商业和产品的理解,并不亚于业务部门员工,因此也可转向产品部或市场部,乃至上升为公司的高级管理层。
10#
声瘫  4级常客 | 2018-10-15 23:20:29 发帖IP地址来自
求大数据架构师
11#
uuid0826  2级吧友 | 2018-10-15 23:20:30 发帖IP地址来自
厦大林子雨网站教程、还有他的教材,都还不错。可以看看。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

积分:
帖子:
精华:
期权论坛 期权论坛
发布
内容

下载期权论坛手机APP