成为大数据开发工程师要学习什么?
首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。
大数据
Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。
Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。
Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。
Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。
Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。
Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。
Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。
Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。
Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。
Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。
Spark：它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。
大数据开发工程师的工作，主要就是负责大数据处理各个环节提供相应的支持，包括大数据采集、清洗、存储及管理、分析及挖掘、展现及应用等，各个环节需要的技术，都是需要系统化地进行学习的。
大数据开发工程师学习的课程，包括但不限于以下这些：
大数据技术栈：Hadoop、Spark、Storm、Flink等；
数据收集：关系型数据收集工具Sqoop与Canel、非关系型数据收集系统Flume、分布式消息队列Kafka；
数据存储：数据存储格式、分布式文件系统及分布式数据库；
资源管理和服务协调：YARN、ZooKeeper；
计算引擎：包括批处理、交互式处理，以及流式实时处理三类引擎，内容涉及MapReduce、Spark 、Impala/Presto、 Storm 等。
很多人好奇学习大数据需不需要学Java，正确答案是需要。一方面Java是目前使用最为广泛的编程语言，它具有的众多特性，特别适合作为大数据应用的开发语言;另一方面Hadoop以及其他大数据处理技术很多都是用Java开发，例如Apache的基于Java的HBase和Accumulo以及
ElasticSearchas，因此学习Hadoop的一个首要条件，就是掌握Java语言编程。
2、需要学习是Linux系统、Hadoop生态体系
大数据的整个框架是搭建在Linux系统上面的，所以要熟悉Linux开发环境。而Hadoop是一个开源的分布式计算+分布式存储平台，是一个大数据的基础架构，它能搭建大型数据仓库，PB级别数据的存储、处理、分析、统计等业务。在这一阶段，你必须要掌握Hadoop的核心组件，包括分布式文件系统HDFS、资源调度管理系统YARN以及分布式计算框架MapReduce。
3、需要学习是分布式计算框架Spark&Storm生态体系
随着学习的深入，在具备一定的基础之后，你就需要学习Spark大数据处理技术、Mlib机器学习、GraphX图计算以及Strom技术架构基础和原理等知识。Spark无论是在性能还是在方案的统一性方面，都有着极大的优越性，可以对大数据进行综合处理：实时数据流处理、批处理和交互式查询。
大数据专业就业方向?
大数据方面的就业的方向主要分为三个：1.数据分析类。2.系统研发类。3.应用开发类。他们可以胜任的岗位有大数据系统研发工程师、大数据应用开发工程师、大数据分析师。大数据分析师专家，大数据挖掘师，大数据算法师、大数据运维工程师等。大数据方向的就业选择性是非常多的。大数据管理与应用专业简介：大数据...
大数据开发和数据分析哪个前景更好哪个薪资高
因为大数据人才稀缺，大数据人才需要一定的技术性，然而高校培养出来的人才和企业所需的人才严重不符，导致大数据人才奇缺。因此一个熟练的大数据技术工程师，特别受用人单位的重视。所以职位高也就是一件正常的事情。大数据开发类的岗位对于code能力、工程能力有一定要求，这意味着你需要有一定的编程能力，有...
大数据招聘公司有哪些
2.阿里巴巴 作为中国电商巨头，阿里巴巴的大数据需求非常旺盛。他们不仅招聘大数据工程师，还招聘数据挖掘专家等职位，致力于从海量数据中挖掘商业价值。3.亚马逊 亚马逊作为全球最大的在线零售商之一，其数据处理和分析能力同样强大。他们经常招聘大数据相关的职位，如大数据开发工程师、数据科学家等。解释：大数据...
学大数据会有什么工作?
1.大数据系统架构师 大数据平台搭建、系统设计、基础设施。技能：计算机体系结构、网络架构、编程范式、文件系统、分布并行处理等。2.大数据系统分析师 面向实际行业领域，利用大数据技术进行数据安全生命周期管理、分析和应用。技能：人工智能、机器学习、数理统计、矩阵计算、优化方法。3.hadoop开发工程师。解决...
学大数据可以从事什么工作
未来的就业前景是非常不错的，目前大数据行业，就业方向包括大数据开发、大数据开发师、大数据分析师等工作，工作方向和经验的不同，随之工资也会有所不同。大数据人才主要分布在移动互联网行业，其次是金融互联网、企业服务、游戏、教育、社交等领域，就业渠道比较多，大概为大数据开发，大数据运维和云计算方向...
大数据属于什么专业?
同时，目前企业里招聘相关领域的人才，一般会从联系比较密切的专业里来寻找对口人才，比如统计学、数学、软件工程、计算机科学等专业。如果想报考的学校暂时没有数据科学与大数据技术相关专业，则可以通过学习临近专业来达到将来从事相关领域工作的目标。再来说说它有什么优势。一个热门的专业和领域，自然是它...
大数据就业方向是什么?
大数据的就业方向 大数据主要有三个就业方向，大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。在此三大方向中，各自的基础岗位一般为大数据系统研发工程师、大数据应用开发工程师和数据分析师。又可分为以下十大职位：一、ETL研发 ETL研发，主要负责将分散的、异构数据源中的数据如关系数据、...
腾讯公司软件编程人员大概工资多少
社招进入的优秀员工不在少数。来看腾讯视频的社会招聘。鹅厂给3-5年经验的大数据开发工程师开到了高达5万的月薪，在其他大厂的招聘中30k-60k的大数据开发工程师，也只要1-3年工作经验。综合下来，这样的待遇在鹅厂年薪75万并不少见，可以说这是当下的一个风口。希望我的回答对你有所帮助！
什么是“大数据”,如何理解“大数据”
目前，包括腾讯、阿里等互联网头部企业在内的大厂，均在积极使用大数据、云计算等技术为产品赋能。例如最早使用大数据技术实现音乐推荐个性化的网易云音乐、在电商平台普遍使用的商品推荐功能等等，均是基于大数据技术运用的代表。以华为为例，华为给1-3年经验的大数据开发工程师开到了高达4万的月薪，在其他大厂...
年薪二十万的程序员真不如一个月薪六千的公务员吗
3、腾讯年薪75万的t3工程师都做什么工作？互联网大厂项目中一般包含四种工作：产品类、设计类、运营类和传统类，其中产品类和设计类岗位薪资显著较高。腾讯定级T3的工程师，在项目中需要负责什么工作？以腾讯视频为例。在腾讯视频的招聘中，鹅厂给3-5年经验的大数据开发工程师开到了高达5万的月薪，根据...
祗扶阿思： 就是对数据库进行开发和(或)维护 需要具备超强的逻辑思维 精通各种语言 需要有相当好的毅力和耐心 能坐得住. 望采纳,O(∩_∩)O谢谢
东丽区19153055401： 如何成为一个大数据开发工程师 - ？
祗扶阿思： 大数据在Java的基础之上,还需要学习的专业技术有:基础阶段:Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis.hadoop mapreduce hdfs yarn:hadoop:Hadoop 概念、版本、历史,HDFS工作原理,YARN介绍及组件介绍.大数据存储阶段:hbase、hive、sqoop.大数据架构设计阶段:Flume分布式、Zookeeper、Kafka.大数据实时计算阶段:Mahout、Spark、storm.大数据数据采集阶段:Python、Scala.大数据商业实战阶段:实操企业大数据处理业务场景,分析需求、解决方案实施,综合技术实战应用.
东丽区19153055401： 想成为大数据工程师需要学习哪些内容?可以自学吗? - ？
祗扶阿思： 虽然说现在大数据人才的缺口很大,但是从事大数据开发是需要一定的数据库基础和编程基础的,而且大数据的教学视频或者书籍目前来说适合入门的非常少,课程也非常繁杂.自学的难度不小,如果你的逻辑思维能力足够好的话,看看尚硅 谷的谷粒学院大数据Hadoop教程.
东丽区19153055401： 软件开发需要会什么?？
祗扶阿思： 通常情况下,软件工程师需要具备以下几个方面的知识结构:第一:操作系统知识.操作系统知识是软件工程师必须具备的重要内容,Web开发领域可能会使用到Windows系列操作系统,大数据和物联网方向要使用到Linux系列操作系统,掌握...
东丽区19153055401： 大数据开发工程师以后可以从事哪些岗位? - ？
祗扶阿思： 大数据开发工程师,其实包括的具体的岗位很多,包括:大数据开发工程师、大数据架构工程师、大数据运维工程师、数据可视化工程师、数据采集工程师、数据挖掘工程师、机器学习工程师、深度学习工程师、算法工程师等等,都可以算是大数据开发工程师的范畴.
东丽区19153055401： 大数据开发学起来难吗?？
祗扶阿思： 常规来说是有难度的,大数据开发需要学java、linxu、数据库、hadoop、spark、storm、python、ElasticSearch、Docker等知识.可以去b站看尚硅谷的视频,免费的代码和视频,你可以先看看你的吸收能力,适不适合学大数据.再来说下大数据开发可以从事哪些工作岗位: 1.Hadoop开发工程师. 2.数据挖掘工程师. 3.大数据科学家. 4.首席数据官 (CDO) 5.ETL研发. 6.大数据信息架构开发. 7.数据仓库研究.
东丽区19153055401： 大数据需要掌握多少知识? - ？
祗扶阿思： 一、Java编程 Java语言是基础,可以编写Web应用、桌面应用、分布式系统、嵌入式系统应用等.Java语言有很多优点,它的跨平台能力赢得了很多工程师的喜爱.二、linux基础操作命令 大数据开发一般在Linux环境下进行.大数据工程师使用...
东丽区19153055401： 学习大数据需要哪些基础？
祗扶阿思： 一般需要了解一些算法基础,还需要有一定的语言基础,最好是JAVA语言的基础.不过这些基础还是需要建立在你勤奋学习上的,不是有了这些基础你就能学好.所以你想学一门东西的时候,持之以恒才是最重要的.
东丽区19153055401： 大数据要学什么? - ？
祗扶阿思： 大数据时代的出现,未来30年将对计划经济和市场经济进行重新定义.在大数据时代,人类获得数据能力远远超过大家想象,我们对世界的认识要提升到新 的高度.在国内,普通大数据开发工程师的基本岗位薪资起步即10000元/月,一般入职...
东丽区19153055401： 如何成为大数据工程师 - ？
祗扶阿思： 当然是学习了,从最基础的开始学,java,linux,mysql的课程.柠檬学院大数据,注册就能学习了.
