大数据工程师主要是做什么的？

大数据工程师到底是什么？~

用阿里巴巴集团研究员薛贵荣的话来说，大数据工程师就是一群“玩数据”的人，玩出数据的商业价值，让数据变成生产力。大数据和传统数据的最大区别在于，它是在线的、实时的，规模海量且形式不规整，无章法可循，因此“会玩”这些数据的人就很重要。
沈志勇认为如果把大数据想象成一座不停累积的矿山，那么大数据工程师的工作就是，“第一步，定位并抽取信息所在的数据集，相当于探矿和采矿。第二步，把它变成直接可以做判断的信息，相当于冶炼。最后是应用，把数据可视化等。”
因此分析历史、预测未来、优化选择，这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向，他们帮助企业做出更好的商业决策。

大数据工程师主要是，分析历史、预测未来、优化选择，这是大数据工程师在“玩数据”时最重要的三大任务：
找出过去事件的特征：大数据工程师一个很重要的工作，就是通过分析数据来找出过去事件的特征。找出过去事件的特征，最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹，就能够了解这个人，并预测他的行为。
预测未来可能发生的事情：通过引入关键因素，大数据工程师可以预测未来的消费趋势。
找出最优化的结果：根据不同企业的业务性质，大数据工程师可以通过数据分析来达到不同的目的。


扩展资料
大数据工程师需要学习的知识

1、linux
大数据集群主要建立在linux操作系统上，Linux是一套免费使用和自由传播的类Unix操作系统。而这部分的内容是大家在学习大数据中必须要学习的，只有学好Linux才能在工作中更加的得心应手。
2、Hadoop
我觉的大家听过大数据就一定会听过hadoop。Hadoop是一个能够对大量数据进行离线分布式处理的软件框架，运算时利用mapreduce对数据进行处理。

参考资料来源：百度百科-大数据分析师

大数据工程师的主要工作是：分析历史、预测未来、优化选择。

1、分析历史，找出过去事件的特征：

大数据工程师一个很重要的工作，就是通过分析数据来找出过去事件的特征。找出过去事件的特征，最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹，就能够了解这个人，并预测他的行为。

2、预测未来，预测未来可能发生的事情：

通过引入关键因素，大数据工程师可以预测未来的消费趋势。

3、优化选择，找出最优化的结果：

根据不同企业的业务性质，大数据工程师可以通过数据分析来达到不同的目的。

在工作岗位上，大数据工程师需要基于Hadoop，Spark等构建数据分析平台，进行设计、开发分布式计算业务。负责大数据平台(Hadoop，HBase，Spark等)集群环境的搭建，性能调优和日常维护。负责数据仓库设计，数据ETL的设计、开发和性能优化。参与构建大数据平台，依托大数据技术建设用户画像。

扩展资料：

大数据工程师可以从事对大量数据的采集、清洗、分析、治理、挖掘，并对这些数据加以利用、管理、维护和服务的相关技术工作。

大数据工程师专业技术水平等级培训考试分初级、中级、高级三个级别。

大数据工程师培养人群：有志于从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护和服务的工程技术人员。

大数据工程师初、中、高三个级别考试均设《大数据理论基础》、《大数据技能实操》两个科目。

参考资料：百度百科-大数据工程师

总结一句话就是 写 SQL （很多入职一两年的大数据工程师主要的工作就是写 SQL ）
还有其他的
2 为集群搭大数据环境（一般公司招大数据工程师环境都已经搭好了，公司内部会有现成的大数据平台，但我这边会私下搞一套测试环境，毕竟公司内部的大数据系统权限限制很多，严重影响开发效率）
3 维护大数据平台（这个应该是每个大数据工程师都做过的工作，或多或少会承担“运维”的工作）
4 数据迁移（有部分公司需要把数据从传统的数据库 Oracle、MySQL 等数据迁移到大数据集群中，这个是比较繁琐的工作，吃力不讨好）
5 应用迁移（有部分公司需要把应用从传统的数据库 Oracle、MySQL 等数据库的存储过程程序或者SQL脚本迁移到大数据平台上，这个过程也是非常繁琐的工作，无聊，高度重复且麻烦，吃力不讨好）
6 数据采集（采集日志数据、文件数据、接口数据，这个涉及到各种格式的转换，一般用得比较多的是 Flume 和 Logstash）
7 数据处理
7.1 离线数据处理（这个一般就是写写 SQL 然后扔到 Hive 中跑，其实和第一点有点重复了）
7.2 实时数据处理（这个涉及到消息队列，Kafka，Spark，Flink 这些，组件，一般就是 Flume 采集到数据发给 Kafka 然后 Spark 消费 Kafka 的数据进行处理）
8 数据可视化（这个我司是用 Spring Boot 连接后台数据与前端，前端用自己魔改的 echarts）
9 大数据平台开发（偏Java方向的，大概就是把开源的组件整合起来整成一个可用的大数据平台这样，常见的是各种难用的 PaaS 平台）
10 数据中台开发（中台需要支持接入各种数据源，把各种数据源清洗转换为可用的数据，然后再基于原始数据搭建起宽表层，一般为了节省开发成本和服务器资源，都是基于宽表层查询出业务数据）
11 搭建数据仓库（这里的数据仓库的搭建不是指 Hive ，Hive 是搭建数仓的工具，数仓搭建一般会分为三层 ODS、DW、DM 层，其中DW是最重要的，它又可以分为DWD,DWM,DWS，这个层级只是逻辑上的概念，类似于把表名按照层级区分开来的操作，分层的目的是防止开发数据应用的时候直接访问底层数据，可以减少资源，注意，减少资源开销是减少 内存 和 CPU 的开销，分层后磁盘占用会大大增加，磁盘不值钱所以没什么关系，分层可以使数据表的逻辑更加清晰，方便进一步的开发操作，如果分层没有做好会导致逻辑混乱，新来的员工难以接手业务，提高公司的运营成本，还有这个建数仓也分为建离线和实时的）
总之就是离不开写 SQL ...

---

伊犁哈萨克自治州17332102687： 大数据工程师做什么?需要具备什么能力 - ？
滑度哌奇： 一般的话大数据是负责公司互联网数据分析的一个职位,简单的说如购物网站上的根据你的浏览给你推荐一些商品,另外还有从海量的数据中分析出对公司发现有指引作用的信息等都是大数据需要做的,现在来说大数据需求非常大,很有发展前景

伊犁哈萨克自治州17332102687： 大数据专业毕业后干啥 - ？
滑度哌奇： 大数据专业是近几年开设的新专业,大数据的就业岗位还是很多的,大数据岗位高薪清单对于求职者来说,大数据只是所从事事业的一个方向,而职业岗位则是决定做什么事?大数据从业者/求职者可以根据自身所学技术及兴趣特征,选择一个适...

伊犁哈萨克自治州17332102687： 大数据开发工程师以后可以从事哪些岗位? - ？
滑度哌奇： 大数据开发工程师,其实包括的具体的岗位很多,包括:大数据开发工程师、大数据架构工程师、大数据运维工程师、数据可视化工程师、数据采集工程师、数据挖掘工程师、机器学习工程师、深度学习工程师、算法工程师等等,都可以算是大数据开发工程师的范畴.

伊犁哈萨克自治州17332102687： 大数据工程师做什么?数据分析师需要具备什么能力 - ？
滑度哌奇： 、需要有应用数学、统计学、数量经济学专业本科或者工学硕士层次水平的数学知识背景. 2. 5、至少掌握一门数学软件:matalab,mathmatics进行新模型的构建、至少熟练SPSS、STATISTIC、Eviews; 4、SAS等数据分析软件中的一门. 3、至少能够用Acess等进行数据库开发、至少掌握一门编程语言; 6,当然还要其他应用领域方面的知识,比如市场营销

伊犁哈萨克自治州17332102687： 大数据毕业以后都是干什么的?？
滑度哌奇： 学完大数据可以从事很多工作,比如说:hadoop 研发工程师、大数据研发工程师、大数据分析工程师、数据库工程师、hadoop运维工程师、大数据运维工程师、java大数据工程师、spark工程师等等都是我们可以从事的工作岗位

伊犁哈萨克自治州17332102687： 金融大数据工程师是做啥的?学了有什么用? - ？
滑度哌奇： 大数据工程师是利用现代分析方法,结合互联网技术手段进行大数据模型的构建和应用.学了后可以提升在职工作人员的岗位能力,从而升职加薪.同时也是企业面试时对应聘者考核、聘用、任用的标准.

伊犁哈萨克自治州17332102687： 大数据都有哪些就业方向?？
滑度哌奇： 1、大数据系统研发工程师这一专业人才负责大数据系统研发,包括大规模非结构化数据业务模型构建、大数据存储、数据库构设、优化数据库构架、解决数据库中心设计等,同时,还要负责数据集群的日常运作和系统的监测等,这一类人才是...

伊犁哈萨克自治州17332102687： 什么是大数据软件工程师 - ？
滑度哌奇： 大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产大数据工程师是根据大数据来的一种职业

伊犁哈萨克自治州17332102687： 51CTO数字化人才大数据专业出来可以从事哪些岗位? ？
滑度哌奇： 一,Hadoop开发工程师Hadoop开发工程师主要工作就是解决大数据存储问题.Hadoop是以一种可靠并且高效的方式来进行数据处理,现在每个公司基本都有大量的数据需要处理,Hadoop开发工程师的需求量还是蛮大的.二,数据分析师数据分析师是存在于不同的行业中,专职进行数据分析,并根据分析数据来研究分析行业数据以实现数据的商业意义.总之,作为一个优秀的数据分析师,在业务、管理、分析、工具、设计等几方面都应该有所涉猎.这两个岗位都是大数据专业当前就业选择人数多,就业待遇也不错的专业,大家可以了解就业岗位,看看自己是否感兴趣.

伊犁哈萨克自治州17332102687： 大数据主要就业方向有哪些? ？
滑度哌奇： 2015年9月国务院印发《促进大数据发展行动纲要》,系统部署大数据发展工作.《纲要》明确提出了七方面政策机制,其中第六条就是加强专业人才培养,建立健全多层...