怎样进行大数据的入门级学习?

作者&投稿:何党 (若有异议请与网页底部的电邮联系)
怎样进行大数据的入门级学习?~

一、整体了解数据分析——5小时
新人们被”大数据“、”人工智能“、”21世纪是数据分析师的时代“等等信息吸引过来,立志成为一名数据分析师,于是问题来了,数据分析到底是干什么的?数据分析都包含什么内容?
市面上有很多讲数据分析内容的书籍,在此我推荐《深入浅出数据分析》,此书对有基础人士可称消遣读物, 但对新人们还是有一定的作用。阅读时可不求甚解,重点了解数据分析的流程、应用场景、以及书中提到的若干数据分析工具,无需纠结分析模型的实现。5个小时,足够你对数据分析工作建立初步的印象,消除陌生感。
二、了解统计学知识——10小时
15个小时只够你了解一下统计学知识,作为入门足够,但你要知道,今后随着工作内容的深入,需要学习更多的统计知识。
本阶段推荐书籍有二:《深入浅出统计学》《统计学:从数据到结论》,要了解常用数理统计模型(描述统计指标、聚类、决策树、贝叶斯分类、回归等),重点放在学习模型的工作原理、输入内容和输出内容,至于具体的数学推导,学不会可暂放一边,需要用的时候再回来看。
三、学习初级工具——20小时
对于非技术类数据分析人员,初级工具只推荐一个:EXCEL。推荐书籍为《谁说菜鸟不会数据分析》,基础篇必须学习,提高篇不一定学(可用其他EXCEL进阶书籍),也可以学习网上的各种公开课。
本阶段重点要学习的是EXCEL中级功能使用(数据透视表,函数,各类图表适用场景及如何制作),如有余力可学习VBA。
四、提升PPT能力——10小时
作为数据分析人员,PPT制作能力是极其重要的一项能力,因此需要花一点时间来了解如何做重点突出,信息明确的PPT,以及如何把各类图表插入到PPT中而又便于更新数据。10个小时并不算多,但已经足够(你从来没做过PPT的话,需要再增加一些时间)。具体书籍和课程就不推荐了,网上一抓一大把,请自行搜索。
五、了解数据库和编程语言——10小时
这个阶段有两个目标:学习基础的数据库和编程知识以提升你将来的工作效率,以及测试一下你适合学习哪一种高级数据分析工具。对于前者,数据库建议学MySQL(虽然Hadoop很有用但你不是技术职位,初期用不到),编程语言建议学Python(继续安利《深入浅出Python》,我真没收他们钱……)。数据库学到联合查询就好,性能优化、备份那些内容用不到;Python则是能学多少学多少。
六、学习高级工具——10小时
虽然EXCEL可以解决70%以上的问题,但剩下30%还是需要高级工具来做(不信用EXCEL做个聚类)。高级分析工具有两个选择:SPSS和R。虽然R有各种各样的好处,但我给的建议是根据你在上一步中的学习感觉来定学哪一个工具,要是学编程语言学的很痛苦,就学SPSS,要是学的很快乐,就学R。不管用哪一种工具,都要把你学统计学时候学会的重点模型跑一遍,学会建立模型和小幅优化模型即可。
七、了解你想去的行业和职位——10+小时
这里我在时间上写了个”+“号,因为这一步并不一定要用整块时间来学习,它是贯穿在你整个学习过程中的。数据分析师最需要不断提升的能力就是行业和业务知识,没有之一。你将来想投入哪个行业和哪个职位的方向,就要去学习相关的知识(比如你想做网站运营,那就要了解互联网背景知识、网站运营指标体系、用户运营知识等内容)。
八、做个报告——25小时
你学习了那么多内容,但现在出去的话你还是找不到好工作。所有的招聘人员都会问你一句话:你做过哪些实际项目?(即使你是应届生也一样) 如果你有相关的项目经验或者实习经验,当然可以拿出来,但是如果没有,怎么办?答案很简单,做个报告给他们看,告诉招聘者:我已经有了数据分析入门级(甚至进阶级)职位的能力。同时,做报告也会是你将来工作的主要内容,因此也有可能出现另外一种情况:你费尽心血做了一个报告,然后发现这不是你想要的生活,决定去干别的工作了……这也是件好事,有数据分析能力的人做其他工作也算有一项优势。


如今大数据发展得可谓是如日中天,各行各业对于大数据分析和大数据处理的需求也是与日俱增,越来越多的决策、建议、规划和报告,都要依靠大数据的支撑,学习大数据成了不少人提升或转行的机会。因此,入门大数据开始成为很多人的第一步,下面给大家讲讲,究竟大数据入门,首要掌握的知识点有哪些,如何一步一步进阶呢?
首先我们要了解Java语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后。楼主是JAVA毕业的,这无疑是极好的开头和奠基啊,可谓是赢在了起跑线上,接收和吸收大数据领域的知识会比一般人更加得心应手。
Java :只要了解一些基础即可,做大数据不需要很深的Java 技术,学java SE 就相当于有学习大数据。基础
Linux:因为大数据相关软件都是在Linux上运行的,所以Linux要学习的扎实一些,学好Linux对你快速掌握大数据相关技术会有很大的帮助,能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置,能少踩很多坑,学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。
好说完基础了,再说说还需要学习哪些大数据技术,可以按我写的顺序学下去。
Hadoop:这是现在流行的大数据处理平台几乎已经成为大数据的代名词,所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN,HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面,MapReduce是对数据进行处理计算的,它有个特点就是不管多大的数据只要给它时间它就能把数据跑完,但是时间可能不是很快所以它叫数据的批处理。

记住学到这里可以作为你学大数据的一个节点。
Zookeeper:这是个万金油,安装Hadoop的HA的时候就会用到它,以后的Hbase也会用到它。它一般用来存放一些相互协作的信息,这些信息比较小一般不会超过1M,都是使用它的软件对它有依赖,对于我们个人来讲只需要把它安装正确,让它正常的run起来就可以了。
Mysql:我们学习完大数据的处理了,接下来学习学习小数据的处理工具mysql数据库,因为一会装hive的时候要用到,mysql需要掌握到什么层度那?你能在Linux上把它安装好,运行起来,会配置简单的权限,修改root的密码,创建数据库。这里主要的是学习SQL的语法,因为hive的语法和这个非常相似。
Sqoop:这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个,直接把Mysql数据表导出成文件再放到HDFS上也是一样的,当然生产环境中使用要注意Mysql的压力。
Hive:这个东西对于会SQL语法的来说就是神器,它能让你处理大数据变的很简单,不会再费劲的编写MapReduce程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。
Oozie:既然学会Hive了,我相信你一定需要这个东西,它可以帮你管理你的Hive或者MapReduce、Spark脚本,还能检查你的程序是否执行正确,出错了给你发报警并能帮你重试程序,最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的,不然你看着那一大堆脚本,和密密麻麻的crond是不是有种想屎的感觉。
Hbase:这是Hadoop生态体系中的NOSQL数据库,他的数据是按照key和value的形式存储的并且key是唯一的,所以它能用来做数据的排重,它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。
Kafka:这是个比较好用的队列工具,队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理,这样与你协作的其它同学不会叫起来,你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来,你别怪他因为他不是搞大数据的,你可以跟他讲我把数据放在队列里你使用的时候一个个拿,这样他就不在抱怨了马上灰流流的去优化他的程序去了,因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS,这时你可以与一个叫Flume的工具配合使用,它是专门用来提供对数据进行简单处理,并写到各种数据接受方(比如Kafka)的。
Spark:它是用来弥补基于MapReduce处理数据速度上的缺点,它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算,所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它,因为它们都是用JVM的。

一、整体了解数据分析——5小时\x0d\x0a新人们被”大数据“、”人工智能“、”21世纪是数据分析师的时代“等等信息吸引过来,立志成为一名数据分析师,于是问题来了,数据分析到底是干什么的?数据分析都包含什么内容?\x0d\x0a市面上有很多讲数据分析内容的书籍,在此我推荐《深入浅出数据分析》,此书对有基础人士可称消遣读物, 但对新人们还是有一定的作用。阅读时可不求甚解,重点了解数据分析的流程、应用场景、以及书中提到的若干数据分析工具,无需纠结分析模型的实现。5个小时,足够你对数据分析工作建立初步的印象,消除陌生感。\x0d\x0a二、了解统计学知识——10小时\x0d\x0a15个小时只够你了解一下统计学知识,作为入门足够,但你要知道,今后随着工作内容的深入,需要学习更多的统计知识。\x0d\x0a本阶段推荐书籍有二:《深入浅出统计学》《统计学:从数据到结论》,要了解常用数理统计模型(描述统计指标、聚类、决策树、贝叶斯分类、回归等),重点放在学习模型的工作原理、输入内容和输出内容,至于具体的数学推导,学不会可暂放一边,需要用的时候再回来看。\x0d\x0a三、学习初级工具——20小时\x0d\x0a对于非技术类数据分析人员,初级工具只推荐一个:EXCEL。推荐书籍为《谁说菜鸟不会数据分析》,基础篇必须学习,提高篇不一定学(可用其他EXCEL进阶书籍),也可以学习网上的各种公开课。\x0d\x0a本阶段重点要学习的是EXCEL中级功能使用(数据透视表,函数,各类图表适用场景及如何制作),如有余力可学习VBA。\x0d\x0a四、提升PPT能力——10小时\x0d\x0a作为数据分析人员,PPT制作能力是极其重要的一项能力,因此需要花一点时间来了解如何做重点突出,信息明确的PPT,以及如何把各类图表插入到PPT中而又便于更新数据。10个小时并不算多,但已经足够(你从来没做过PPT的话,需要再增加一些时间)。具体书籍和课程就不推荐了,网上一抓一大把,请自行搜索。\x0d\x0a五、了解数据库和编程语言——10小时\x0d\x0a这个阶段有两个目标:学习基础的数据库和编程知识以提升你将来的工作效率,以及测试一下你适合学习哪一种高级数据分析工具。对于前者,数据库建议学MySQL(虽然Hadoop很有用但你不是技术职位,初期用不到),编程语言建议学Python(继续安利《深入浅出Python》,我真没收他们钱??)。数据库学到联合查询就好,性能优化、备份那些内容用不到;Python则是能学多少学多少。\x0d\x0a六、学习高级工具——10小时\x0d\x0a虽然EXCEL可以解决70%以上的问题,但剩下30%还是需要高级工具来做(不信用EXCEL做个聚类)。高级分析工具有两个选择:SPSS和R。虽然R有各种各样的好处,但我给的建议是根据你在上一步中的学习感觉来定学哪一个工具,要是学编程语言学的很痛苦,就学SPSS,要是学的很快乐,就学R。不管用哪一种工具,都要把你学统计学时候学会的重点模型跑一遍,学会建立模型和小幅优化模型即可。\x0d\x0a七、了解你想去的行业和职位——10+小时\x0d\x0a这里我在时间上写了个”+“号,因为这一步并不一定要用整块时间来学习,它是贯穿在你整个学习过程中的。数据分析师最需要不断提升的能力就是行业和业务知识,没有之一。你将来想投入哪个行业和哪个职位的方向,就要去学习相关的知识(比如你想做网站运营,那就要了解互联网背景知识、网站运营指标体系、用户运营知识等内容)。\x0d\x0a八、做个报告——25小时\x0d\x0a你学习了那么多内容,但现在出去的话你还是找不到好工作。所有的招聘人员都会问你一句话:你做过哪些实际项目?(即使你是应届生也一样) 如果你有相关的项目经验或者实习经验,当然可以拿出来,但是如果没有,怎么办?答案很简单,做个报告给他们看,告诉招聘者:我已经有了数据分析入门级(甚至进阶级)职位的能力。同时,做报告也会是你将来工作的主要内容,因此也有可能出现另外一种情况:你费尽心血做了一个报告,然后发现这不是你想要的生活,决定去干别的工作了??这也是件好事,有数据分析能力的人做其他工作也算有一项优势。


大数据学习入门难怎么办?
对于没有基础学员来说学习大数据有一定的难度,如需学习大数据推荐咨询【达内教育】。学习大数据要注意以下两点:1、建立起兴趣。在IT技术领域,理论的学习是一个长期的枯燥的过程,大数据尤其如此,在真正能够进行大数据实操之前,需要完成整个技术体系的学习,搭建起完整的大数据技术知识体系。兴趣是可以让一...

小白怎么入门大数据行业?数据要学哪些知识?
要掌握spark核心编程进行离线批处理,sparkSQL做交互式查询,sparkStreaming做实时流式运算,spark原理的深入理解,spark参数调优与运维相关的知识。以上就是小编今天给大家整理发送的关于“小白怎么入门大数据行业?数据要学哪些知识?”的全部内容,希望对大家有所帮助。所谓不做不打无准备之仗,总的来说随着...

小白学习大数据技术可从哪些方面做计划?
1、学习大数据,首要思考本身未来想往哪个方向发展 大数据作为一门比较根底型的学科,它着非常核心的技术以及职位需求,你能够根据大数据开发方向的对口职位来对你未来的发展方向进行选择。2、零基础学习大数据主张从JAVA开端学起 从大数行业的发展来说,想要入门快、根底深沉,而且需求多、使用广的话,主张...

大数据学习入门都需要学什么?求大神解答一下
大数据学习入门都需要学习和具备的基础知识: 数学知识:数学知识是数据分析师的基础知识。 ①对于初级数据分析师,了解一些描述统计相关的基础内容,有一定的公式计算能力即可,了解常用统计模型算法则是加分。 ②对于高级数据分析师,统计模型相关知识是必备能力,线性代数(主要是矩阵计算相关知识)最好也有一定的了解。 ③而...

想学大数据,零基础好入门吗
零基础可以学会大数据,大数据的零基础学习有以下步骤:1、理解大数据理论 2、计算机程序设计语言学习 3、主要的大数据相关课程 4、实战项目 要学习大数据,你至少应该知道大数据是什么,大数据将被用在什么领域。通过对大数据的一般理解,你可以了解你是否对大数据感兴趣。大数据学习,需要参考的因素:· 专业...

零基础能学大数据吗?大数据分析好不好学?
零基础学习大数据需要从以下几个方面入手:首先,大数据学习路线要明确,第一步:要进行大数据开发语言及其他基础的学习。第二步:学习理论及核心技术。第三步:真实项目案例实战。1、计算机编程语言的学习。对于零基础的朋友,一开始入门可能不会太简单。因为需要掌握一门计算机的编程语言,大家都知道计算机...

大数据需要学什么
随着大数据的发展,越来越多的人想要进入大数据行业,大数据技术体系巨大,包含的常识非常多。对于零基础想要学习大数据的人,一开始入门可能不会太简单。学习大数据至少需要掌握一门计算机编程语言,计算机编程语言有很多,Java是目前使用的比较广泛的编程语言之一。所以,学习大数据,掌握好Java是必不可少的。另...

新人如何入门大数据技术?
当前商用大数据平台往往都有比较完善的技术描述文档,通常也会有很多案例可以学习,这些都会明显提升学习效率。最后,对于职场新人来说,一定要重视与技术团队中的技术骨干进行交流,不断明确自己的学习方向和学习内容,这是非常重要的,学会沟通是初级职场人最应该掌握的能力。关于新人如何入门大数据技术,青藤...

学习大数据开发的方法?
3. 参加线上课程: 在线课程可以让您自由学习,可以加入一些免费或付费的在线学习课程,通过独立学习的方式去学习大数据相关知识。4. 实践项目: 实践是学习大数据开发的最好方法,可以选择一些开源或者自己感兴趣的项目进行实践,熟练掌握开发流程和技术,同时也可以在实践中不断提升自己的能力。5. 加入技术...

入门大数据需要学习什么内容?
分享大数据学习路线:第一阶段为JAVASE+MYSQL+JDBC主要学习一些Java语言的概念,如字符、bai流程控制、面向对象、进程线程、枚举反射等,学习MySQL数据库的安装卸载及相关操作,学习JDBC的实现原理以及Linux基础知识,是大数据刚入门阶段。第二阶段为分布式理论简介主要讲解CAP理论、数据分布方式、一致性、2PC和3...

无锡市13443778815: 怎样进行大数据的入门级学习 -
蔺天珠贝: 1、原始数据要经过一连串收集、提取、清洗、整理等等的预处理过程,才能形成高质量的数据; 2、我们想看看数据“长什么样”,有什么特点和规律; 3、按照自己的需要,比如要对数据贴标签分类,或者预测,或者想要从大量复杂的数据中提取有价值的且不易发现的信息,都要对数据建模,得到output. 这三个步骤未必严谨,每个大步骤下面可能依问题的不同也会有不同的小步骤,但按我这几年的经验来看,按照这个大思路走,数据一般不会做跑偏. 这样看来,数据科学其实就是门复合型的技术,既然是技术就从编程语言谈起吧,为了简练,只说说R和Python.但既然是荐数据科学方面的书,我这里就不提R/Python编程基础之类的书了,直接上跟数据科学相关的.

无锡市13443778815: 小白怎么学习大数据? -
蔺天珠贝: 1: ssm的开发流程,要知道,不要开发具体的业务,例如增删改查的业务,只需要知道流程,代码实现不要知道2: html 要知道到底怎么回事3: Restful 不要求4: 数据库必须学习,而且是精通,更多的是数据的sql语句(如何连接数据库不重要),数据库调优,如何做主从,如何配置一些东西等等5: 最好用window系统,而不是mac6: 还需要知道互联网通用的架构,就是需要部署到服务器上面,需要有一套分布式的架构,是针对前段的,只需要半天的时间就可以学会了

无锡市13443778815: 新手如何入门大数据行业 -
蔺天珠贝: 大数据是一项未来社会和企业都无法避开的技术,几乎全行业都需要大数据技术的支持,包括传统企业及人工智能等新兴行业.大数据到底学什么?其实大数据的方向有很多,而当前企业对大数据人才的需求主要集中在大数据开发.说到开发相信大家第一时间想到的就是编程.到底要如何学习编程才能更快的掌握呢?1、读源码 2、原理剖析 3、抄代码 4、运行 5、默写代码 6、项目跟进.最重要的是项目跟进,将教会你所掌握的编程技术在实际应用中如何使用,也就是你在未来工作中的工作如何进行.

无锡市13443778815: 如何进入大数据领域,学习路线是什么 -
蔺天珠贝: ITjob数据分析师(数据仓库)课程大纲 知识内容1 数据库基础 安装配置与应用设计 安装、配置、创建库、表、约束2操纵语句与规范 SQL语法、操纵语句、数据类型、变量、表达式、运算符、控制语句3高级查询与函数 查询子句、单表查询、函...

无锡市13443778815: 大数据该怎么学习,自学能学会吗? -
蔺天珠贝: 一、大数据学习路线 Java-Linux-Hadoop-Zookeeper-Mysql-Sqoop-Hive-Oozie-Hbase-Kafka-Spark 二、大数据自学的问题1、自学需要有一定开发经验,而且需要有极强的学习能力,和坚强的意志.学习能力这个不用解释了.意志这个问题我讲...

无锡市13443778815: 从大数据入门,到达到一定水平,在学习路径上有什么建议 -
蔺天珠贝: 我建议现决定个人职业发展路线,然后再决定学习路径上的情况 比如:大数据分很多岗位,大数据开发,大数据测试,大数据可视化,大数据清洗,大数据挖掘,大数据算法等很多岗位,先看看岗位i,觉得自己适合哪个方向,然后再有侧重点的学习,但是目前大数据行业应用最广泛的是大数据开发和大数据可视化,还有部分大数据测试,如果你自学能力很强,建议自学:但是如果你自学能力不强,最好还是找一个市场好一点的培训机构,系统参加下学习,比如:光环大数据,飞马训练营在市场就业口碑和课程上都很不错,你有时间可以去看看

无锡市13443778815: 0基础可以学大数据吗
蔺天珠贝: 0基础是可以学习大数据的,不过大数据学习有一定难度,要做好心理准备.其次是学习大数据最好学历在大专及以上,不然学起来可能更困难,而且就算报班学习也需要半年左右的时间(我们是全日制安排上课,这样也需要半年),时间上相对其他类型的稍长,你要做好准备.要学习大数据,你至少应该知道大数据是什么,大数据将被用在什么领域.通过对大数据的一般理解,你可以了解你是否对大数据感兴趣.如果你对大数据一无所知,你也可以学习,但学着学着你有可能不喜欢它了,这是浪费时间和精力,还可能是浪费金钱.所以,如果你想学习大数据,你需要对大数据有一个全面的了解.

无锡市13443778815: 学习大数据需要哪些基础
蔺天珠贝: 一般需要了解一些算法基础,还需要有一定的语言基础,最好是JAVA语言的基础.不过这些基础还是需要建立在你勤奋学习上的,不是有了这些基础你就能学好.所以你想学一门东西的时候,持之以恒才是最重要的.

无锡市13443778815: 合肥大数据入门培训怎么学? -
蔺天珠贝: 入门从基础开始学习,有人把数据比喻为蕴 藏能量的煤矿.煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样.大数据的内容相对较多,魔据教育提供基础到高级的内容展现,实践过程加深自身记忆,学好并不会太差

无锡市13443778815: 怎么学好大数据,选择培训机构? -
蔺天珠贝: 这个怎么说呢,其实最主要还是自己的决心和努力程度,培训机构等于是带你入门,修行还得看个人,不过 好的培训机构不会耽误你,是助长你,能让你事半功倍,快速掌握大数据技术,但是如果你不幸选了个坑人的那就不仅浪费时间还耽误你...

你可能想看的相关专题

本站内容来自于网友发表,不代表本站立场,仅表示其个人看法,不对其真实性、正确性、有效性作任何的担保
相关事宜请发邮件给我们
© 星空见康网