成为大数据工程师要学习哪些知识?

大数据工程师需要掌握哪些技能？~

对于大数据工程师而言，您至少要掌握以下技能：

一门JVM系语言：当前大数据生态JVM系语言类的比重极大，某种程度上说是垄断也不为过。这里我推荐大家学习Java或Scala，至于Clojure这样的语言上手不易，其实并不推荐大家使用。另外，如今是“母以子贵”的年代，某个大数据框架会带火它的编程语言的流行，比如Docker之于Go、Kafka之于Scala。因此笔者这里建议您至少要精通一门JVM系的语言。值得一提的，一定要弄懂这门语言的多线程模型和内存模型，很多大数据框架的处理模式其实在语言层面和多线程处理模型是类似的，只是大数据框架把它们引申到了多机分布式这个层面。

计算处理框架：严格来说，这分为离线批处理和流式处理。流式处理是未来的趋势，建议大家一定要去学习；而离线批处理其实已经快过时了，它的分批处理思想无法处理无穷数据集，因此其适用范围日益缩小。事实上，Google已经在公司内部正式废弃了以MapReduce为代表的离线处理。因此如果要学习大数据工程，掌握一门实时流式处理框架是必须的。当下主流的框架包括：Apache Samza, Apache Storm, Apache Spark Streaming以及最近一年风头正劲的Apache Flink。当然Apache Kafka也推出了它自己的流式处理框架：Kafka Streams

分布式存储框架：虽说MapReduce有些过时了，但Hadoop的另一个基石HDFS依然坚挺，并且是开源社区最受欢迎的分布式存储，绝对您花时间去学习。如果想深入研究的话，Google的GFS论文也是一定要读的（[url=]https://static.googleusercontent.com/media/research.google.com/en//archive/gfs-sosp2003.pdf[/url]）。当然开源世界中还有很多的分布式存储，国内阿里巴巴的OceanBase也是很优秀的一个。

资源调度框架：Docker可是整整火了最近一两年。各个公司都在发力基于Docker的容器解决方案，最有名的开源容器调度框架就是K8S了，但同样著名的还有Hadoop的YARN和Apache Mesos。后两者不仅可以调度容器集群，还可以调度非容器集群，非常值得我们学习。

分布式协调框架：有一些通用的功能在所有主流大数据分布式框架中都需要实现，比如服务发现、领导者选举、分布式锁、KV存储等。这些功能也就催生了分布式协调框架的发展。最古老也是最有名的当属Apache Zookeeper了，新一些的包括Consul，etcd等。学习大数据工程，分布式协调框架是不能不了解的， 某种程度上还要深入了解。

KV数据库：典型的就是memcache和Redis了，特别是Redis简直是发展神速。其简洁的API设计和高性能的TPS日益得到广大用户的青睐。即使是不学习大数据，学学Redis都是大有裨益的。

列式存储数据库：笔者曾经花了很长的时间学习Oracle，但不得不承认当下关系型数据库已经慢慢地淡出了人们的视野，有太多的方案可以替代rdbms了。人们针对行式存储不适用于大数据ad-hoc查询这种弊端开发出了列式存储，典型的列式存储数据库就是开源社区的HBASE。实际上列式存储的概念也是出自Google的一篇论文：Google BigTable，有兴趣的话大家最好读一下：

消息队列：大数据工程处理中消息队列作为“削峰填谷”的主力系统是必不可少的，当前该领域内的解决方案有很多，包括ActiveMQ，Kafka等。国内阿里也开源了RocketMQ。这其中的翘楚当属Apache Kafka了。Kafka的很多设计思想都特别契合分布流式数据处理的设计理念。这也难怪，Kafka的原作者Jay Kreps可是当今实时流式处理方面的顶级大神。

目前大数据领域内的主要工作岗位涉及到大数据采集工程师、大数据分析工程师、大数据开发工程师和大数据运维工程师，如果想转型为大数据工程师，可以根据自身的知识结构和能力特点选择一个具体的发展方向。


大数据采集工程师主要的工作任务是完成数据的采集、整理和存储，虽然整体的技术含量并不算太高，但是涉及到的知识面却比较广泛。由于目前大数据的主要数据采集渠道包括物联网、互联网和传统信息系统，所以大数据采集工程师也需要掌握这些相关技术，比如要掌握如何通过程序设计来完成网络信息提取等。另外，数据的整理和存储还需要掌握各种数据库知识(包括NoSql数据库)，以及云计算相关知识。对于具有网络基础的IT行业从业者来说，转型大数据采集工程师或者大数据运维工程师是不错的选择。


大数据分析工程师主要的工作内容是进行大数据分析和呈现，大数据分析目前有两种主要方式，分别是统计学方式和机器学习方式，所以要想从事大数据分析工程师岗位，需要具有扎实的数学基础和程序设计基础。不少数学专业和统计学专业的职场人，可以考虑转型大数据分析工程师岗位，目前该岗位的人才需求量还是比较大的。


大数据开发工程师主要完成两方面任务，其一是进行大数据平台开发，其二是进行大数据应用开发。在当前大数据技术体系逐渐成熟的情况下，大数据应用开发的岗位需求量会更大一些，相对于大数据平台开发来说，大数据应用开发更注重与应用场景的结合。对于广大程序员(Java程序员、Python程序员)来说，转向大数据开发工程师岗位会更容易一些。


关于大数据工程师需要具备哪些知识，青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣，希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容，可以点击本站的其他文章进行学习。

1.大数据架构的工具与组件

数据工程师更关注分析基础架构，因此所需的大部分技能都是以架构为中心的。

2.深入了解SQL和其它数据库解决方案

数据工程师需要对数据库管理系统有比较熟悉的了解，而且深入了解SQL非常重要。同样其它数据库解决方案，例如Cassandra或BigTable也须熟悉，因为不是每个数据库都是由可识别的标准来构建。

3.数据仓库和ETL工具

数据仓库和ETL经验对于数据工程师至关重要。像Redshift或Panoply这样的数据仓库解决方案，以及ETL工具，比如StitchData或Segment都非常有用。另外，数据存储和数据检索经验同样重要，因为处理的数据量是个天文数字。

4.基于Hadoop的分析(HBase，Hive，MapReduce等)

对基于Apache Hadoop的分析有深刻理解是这个领域的一个非常必要的需求，一般情况下HBase，Hive和MapReduce的知识存储是必需的。

5.编码

说到解决方案，编码与开发能力是一个重要的优点(这也是许多职位的要求)，你要熟悉Python，C/C++，Java，Perl，Golang或其它语言，这会非常有价值。

6.机器学习

虽然数据工程师主要关注的是数据科学，但对数据处理技术的理解会加分，比如一些统计分析知识和基础数据建模。

1.大数据架构的工具与组件

数据工程师更关注分析基础架构，因此所需的大部分技能都是以架构为中心的。

2.深入了解SQL和其它数据库解决方案

数据工程师需要对数据库管理系统有比较熟悉的了解，而且深入了解SQL非常重要。同样其它数据库解决方案，例如Cassandra或BigTable也须熟悉，因为不是每个数据库都是由可识别的标准来构建。

3.数据仓库和ETL工具

数据仓库和ETL经验对于数据工程师至关重要。像Redshift或Panoply这样的数据仓库解决方案，以及ETL工具，比如StitchData或Segment都非常有用。另外，数据存储和数据检索经验同样重要，因为处理的数据量是个天文数字。

4.基于Hadoop的分析(HBase，Hive，MapReduce等)

对基于Apache Hadoop的分析有深刻理解是这个领域的一个非常必要的需求，一般情况下HBase，Hive和MapReduce的知识存储是必需的。

5.编码

说到解决方案，编码与开发能力是一个重要的优点(这也是许多职位的要求)，你要熟悉Python，C/C++，Java，Perl，Golang或其它语言，这会非常有价值。

6.机器学习

虽然数据工程师主要关注的是数据科学，但对数据处理技术的理解会加分，比如一些统计分析知识和基础数据建模

---

阿鲁科尔沁旗17018022855： 大数据工程师需要学习哪些? - ？
颜田昔舒： 你好,大数据学习的内容包括8个阶段的内容: 你可以按照顺序学习,先学习基础的东西,希望你早日学有所成.

阿鲁科尔沁旗17018022855： 想成为大数据工程师需要学习哪些内容?可以自学吗? - ？
颜田昔舒： 虽然说现在大数据人才的缺口很大,但是从事大数据开发是需要一定的数据库基础和编程基础的,而且大数据的教学视频或者书籍目前来说适合入门的非常少,课程也非常繁杂.自学的难度不小,如果你的逻辑思维能力足够好的话,看看尚硅 谷的谷粒学院大数据Hadoop教程.

阿鲁科尔沁旗17018022855： 大数据专业主要学什么?？
颜田昔舒： 大数据需要学的:1、Java编程技术;2、Linux命令;3、Hadoop;4、Hive;5、Avro与Protobuf;6、ZooKeeper;7、HBase;8、phoenix等.

阿鲁科尔沁旗17018022855： 大数据要学什么? - ？
颜田昔舒： 大数据时代的出现,未来30年将对计划经济和市场经济进行重新定义.在大数据时代,人类获得数据能力远远超过大家想象,我们对世界的认识要提升到新 的高度.在国内,普通大数据开发工程师的基本岗位薪资起步即10000元/月,一般入职...

阿鲁科尔沁旗17018022855： 如何成为一个大数据开发工程师 - ？
颜田昔舒： 大数据在Java的基础之上,还需要学习的专业技术有:基础阶段:Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis.hadoop mapreduce hdfs yarn:hadoop:Hadoop 概念、版本、历史,HDFS工作原理,YARN介绍及组件介绍.大数据存储阶段:hbase、hive、sqoop.大数据架构设计阶段:Flume分布式、Zookeeper、Kafka.大数据实时计算阶段:Mahout、Spark、storm.大数据数据采集阶段:Python、Scala.大数据商业实战阶段:实操企业大数据处理业务场景,分析需求、解决方案实施,综合技术实战应用.

阿鲁科尔沁旗17018022855： 学习大数据需要哪些基础？
颜田昔舒： 一般需要了解一些算法基础,还需要有一定的语言基础,最好是JAVA语言的基础.不过这些基础还是需要建立在你勤奋学习上的,不是有了这些基础你就能学好.所以你想学一门东西的时候,持之以恒才是最重要的.

阿鲁科尔沁旗17018022855： 大数据需要掌握多少知识? - ？
颜田昔舒： 一、Java编程 Java语言是基础,可以编写Web应用、桌面应用、分布式系统、嵌入式系统应用等.Java语言有很多优点,它的跨平台能力赢得了很多工程师的喜爱.二、linux基础操作命令 大数据开发一般在Linux环境下进行.大数据工程师使用...

阿鲁科尔沁旗17018022855： 大数据架构师培训 大数据架构师需要具备哪些技能 - ？
颜田昔舒： 想要成为合格的大数据分析师,就需要熟悉消息中间件(Kafka等),熟悉数据中间件(Mybatis等);JAVA基础扎实,有相关开发或者实习经验,熟悉IO、多线程、MQ、数据结构与设计模式等;能够基于Linux平台工作,熟练使用shell脚本. ...

阿鲁科尔沁旗17018022855： 大数据工程师做什么?数据分析师需要具备什么能力 - ？
颜田昔舒： 、需要有应用数学、统计学、数量经济学专业本科或者工学硕士层次水平的数学知识背景. 2. 5、至少掌握一门数学软件:matalab,mathmatics进行新模型的构建、至少熟练SPSS、STATISTIC、Eviews; 4、SAS等数据分析软件中的一门. 3、至少能够用Acess等进行数据库开发、至少掌握一门编程语言; 6,当然还要其他应用领域方面的知识,比如市场营销

阿鲁科尔沁旗17018022855： 大数据技术与应用是学什么的? - ？
颜田昔舒： 大数据技术与应用主修课程:面向对象程序设计、Hadoop实用技术、数据挖掘、机器学习、数据统计分析、高等数学、Python编程、JAVA编程、数据库技术、Web开发、Linux操作系统、大数据平台搭建及运维、大数据应用开发、可视化设计...