大数据平时工作忙吗?日常工作内容有哪些?老男孩IT

    /    2019-10-18

  现在是大数据的时代,随着大数据的到来给我们的生活带来了很大的帮助,而大数据作为非常重要的一个行业,不少人都感兴趣,想要加入其中,那么大数据平时主要做什么呢?

  大数据开发的日常工作内容:

  (1)数据采集:业务系统的埋点代码时刻会产生一些分散的原始日志,可以用Flume监控接收这些分散的日志,实现分散日志的聚合,即采集。

  (2)数据存储:清洗后的数据可以落地入到数据仓库(Hive),供下游做离线分析。如果下游的"数据分析统计"对实时性要求比较高,则可以把日志记录入到kafka。

  (3)数据分析统计:数据分析是数据流的下游,消费来自上游的数据。其实就是从日志记录里头统计出各种各样的报表数据,简单的报表统计可以用sql在kylin或者hive统计,复杂的报表就需要在代码层面用Spark、Storm做统计分析。一些公司好像会有个叫BI的岗位是专门做这一块的。

  (4)数据可视化:用数据表格、数据图等直观的形式展示上游"数据分析统计"的数据。一般公司的某些决策会参考这些图表里头的数据。

  大数据开发平时工作累吗?从目前来说,大数据开发工程师工作虽然不是非常的轻松,不过也不是很累的,偶尔可能会有加班的情况,相对于编程工程师来说,大数据开发工程师还是比较不错的,你是否想要学习好大数据开发课程呢?欢迎来老男孩教育咨询。


(0)

分享至