词条信息

admin
admin
超级管理员
词条创建者 发短消息   

相关词条

热门词条

更多>>
什么是端口?到底是做什么的呢?
端口一般指两种,一种是硬件比如路由器或者交换机的插网线的端口,一种是软件的逻辑的概念,比如http的80端口!...
7种进阶方法让你快速测试端口连通性
Ping是Windows、Linux和Unix系统下的一个检查网络连通性的命令工具,对于大部分互联网用户来说很...
电脑开机,总需要按F1,是什么原因造成的?
一.主板掉电这个说法是行业内的叫法了,一般是主板的CMOS电池没电了导致的。也是最常见的一种提示你按F1的提示...
社保降费对个人有什么影响?
下调城镇职工基本养老保险单位缴费比例是政府给企业发的一个大红包,特别是对于企业来说是一个利好,但是对个人来说有...
车辆“出险”对下年保费的影响,到底有多大?
【出险对交强险的影响】【出险对商业险的影响】车辆“出险”对下年保费的影响,到底有多大?这里有必要先提下车险第三...

精选图集

更多>>
简易百科旧版 >>所属分类 >> 互联网    大数据   

大数据工程师要掌握哪些必备技能?

标签: 大数据 工程师 技能

顶[0] 发表评论(0) 编辑词条

无论是世界范围内还是在中国,大数据浪潮正在深刻改变着各行各业,而各行各业对大数据人才的需求,以及技术从业者希望跻身大数据高级人才的需求也变得越来越强烈。


但想要成为一名合格的大数据工程师,必须具备一定的技术,大数据相关的技能,从数据本身来说,大概需要从数据获取、数据处理、数据分析、数据存储和数据挖掘来说,千锋做了简单的总结:


数据获取:日志收集Scribe、Flume和爬虫等


数据处理:流式计算的storm,sparkstreaming、Hadoop、消息队列相关的如Kafka等


数据分析:HIVE、SPARK、基本算法、数据结构等


数据存储:HDFS等


数据挖掘:机器学习相关算法,聚类、时间序列、推荐系统、回归分析、文本挖掘、贝叶斯分类、神经网络等


一个优秀的大数据工程师要具备一定的逻辑分析能力,并能迅速定位某个商业问题的关键属性和决定因素。


学习能力能帮助大数据工程师快速适应不同的项目,并在短时间内成为这个领域的数据专家;沟通能力则能让他们的工作开展地更顺利,因为大数据工程师的工作主要分为两种方式:由市场部驱动和由数据分析部门驱动,前者需要常常向产品经理了解开发需求,后者则需要找运营部了解数据模型实际转化的情况。

 

 

附件列表


按字母顺序浏览:A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

→我们致力于为广大网民解决所遇到的各种电脑技术问题
 如果您认为本词条还有待完善,请 编辑词条

上一篇百万级数据库优化方案
下一篇大数据的10个未来发展趋势

0
1. 本站部分内容来自互联网,如有任何版权侵犯或其他问题请与我们联系,我们将立即删除或处理。
2. 本站内容仅供参考,如果您需要解决具体问题,建议您咨询相关领域专业人士。
3. 如果您没有找到需要的百科词条,您可以到百科问答提问或创建词条,等待高手解答。

关于本词条的提问

查看全部/我要提问>>