大数据开发工程师日常工作内容有哪些?

    /    2018-01-05

  据《大数据人才报告》报告显示,目前全国的大数据人才仅46万,未来3-5年内大数据人才的缺口将高达150万,属高度稀缺型职业,很多公司现在也在纷纷抢夺这方面的人才。

  大数据工程师可以细分为很多工作岗位,有大数据分析师、大数据挖掘算法工程师、大数据研发工程师、数据产品经理、大数据可视化工程师、大数据爬虫工程师、大数据运营专员、大数据架构师等,不同的岗位有不同的工作内容,不能一一着重讲解,以下是对需求量大的四种大数据工程师的讲解!

  一、数据分析师

  该职位需要具备极强的数据分析能力,如临时取数分析、报表需求分析、精准营销分析、风控分析以及市场研究分析能力等。

  所需掌握的工具:R、Python、SAS、SPSS、Spark、X-Mind、Excel、PPT等。

  所需掌握的技能:SQL数据库、概率统计、常用的算法模型、分析报告的撰写、商业的敏感性等。

  二、数据挖掘工程师

  该职位需要具备极强的数据挖掘能力,如用户基础研究、个性化推荐算法、风控模型、产品知识库、文本挖掘、语义识别以及图像识别等。

  所需掌握的工具:R、Python、SAS、SPSS、Spark、Mlib等。

  所需掌握的技能:SQL数据库、概率统计、机器学习算法原理、模型评估、模型部署、模型监控。

  三、数据产品经理

  数据产品经理需要具备整体把控产品的能力,需进行大数据平台建设、数据需求分析以及典型大数据产品应用的能力。

  所需掌握的工具:数据分析工具、原型设计工具Auxe、画结构流程的X-Mind、visio、Excel、PPT等。

  所需掌握的技能:SQL数据库、产品设计、常用数据产品框架。

  四、数据研发工程师

  数据研发工程师需要具备数据分析与开发的能力,主要工作包括:大数据采集、大数据处理以及大数据的开发应用等。

  所需掌握的工具:hadoop、hbase、hive、kafaka、sqoop、java、python等。

  所需掌握的技能:数据库、日志采集方法、分布式计算、实时计算等技术。

  目前大数据需要的人才缺口巨大,国内的大数据多集中的互联网领域,有超过56%的企业在筹备发展大数据研究,并且未来5年,94%的公司都需要大数据人才,因此,对于想从事大数据开发的人员,目前是个不可错过的机遇!

(10)

分享至