学习大数据需要哪些基本知识

大数据需要掌握哪些技能~

大数据技术体系庞大，包括的知识较多
1、学习大数据首先要学习Java基础
Java是大数据学习需要的编程语言基础，因为大数据的开发基于常用的高级语言。而且不论是学hadoop，
2、学习大数据必须学习大数据核心知识
Hadoop生态系统;HDFS技术;HBASE技术;Sqoop使用流程;数据仓库工具HIVE;大数据离线分析Spark、Python语言;数据实时分析Storm;消息订阅分发系统Kafka等。
3、学习大数据需要具备的能力
数学知识，数学知识是数据分析师的基础知识。对于数据分析师，了解一些描述统计相关的内容，需要有一定公式计算能力，了解常用统计模型算法。而对于数据挖掘工程师来说，各类算法也需要熟练使用，对数学的要求是最高的。
4、学习大数据可以应用的领域
大数据技术可以应用在各个领域，比如公安大数据、交通大数据、医疗大数据、就业大数据、环境大数据、图像大数据、视频大数据等等，应用范围非常广泛。

1.计算机基本理论知识
了解计算机的基本原理，计算机的发展历史等计算机的基本常识和理论。

参考用书
2.基本数据库操作知识
能够实现常见数据库的增加数据、删除数据、修改数据、查询数据能力。能熟练使用MySQL、Oracle，搭建MySQL、Oracle的开发环境。

参考书目
3.掌握算法与数据结构
具备一定的编程能力，有较好逻辑思维能力，能够熟练掌握JAVA，c，Python这三种语言中的任意一种，最好是Python。

参考图片
4.网络数据爬虫能力
掌握计算机网络的基本常识，能够编写简单的爬虫脚本，能够根据需要爬取网络数据。

推荐用书
5.结构化数据库操作能力
能够对结构化数据库进行基本操作，了解neo4j等数据库

推荐书目
6.数据分析及数据可视化能力
能够将数据绘制成生动形象的图表，能根据图表分析出数据的潜在价值或者数据的共同点，总结数据规律。

示例说明
总结:以上条件并不是一定要达到很高的标准，只要基本都熟悉，都有印象，能够简单运用即可。

1.了解大数据理论
要学习大数据你至少应该知道什么是大数据，大数据一般运用在什么领域。对大数据有一个大概的了解，你才能清楚自己对大数据究竟是否有兴趣，如果对大数据一无所知就开始学习，有可能学着学着发现自己其实不喜欢，这样浪费了时间精力，可能还浪费了金钱。所以如果想要学习大数据，需要先对大数据有一个大概的了解。
2.计算机编程语言的学习。
对于零基础的朋友，一开始入门可能不会太简单。因为需要掌握一门计算机的编程语言，大家都知道计算机编程语言有很多，比如：R，C++，JAVA等等。目前大多数机构都是教JAVA，我们都知道Java是目前使用最为广泛的网络编程语言之一。他容易学而且很好用，如果你学习过C++语言，你会觉得C++和Java很像，因为Java中许多基本语句的语法和C++一样，像常用的循环语句，控制语句等和C++几乎一样，其实Java和C++是两种完全不同的语言，Java只需理解一些基本的概念，就可以用它编写出适合于各种情况的应用程序。Java略去了
运算符重载、多重继承等模糊的概念，C++中许多容易混淆的概念，有的被Java弃之不用了，或者以一种更清楚更容易理解的方式实现，因此Java语言相对是简单的。
在学习Java的时候，我们一般需要学习这些课程： HTML&CSS&JS，java的基础，JDBC与数据库，JSP java web技术， jQuery与AJAX技术，SpringMVC、Mybatis、Hibernate等等。这些课程都能帮助我们更好了解Java，学会运用Java。
3.大数据相关课程的学习。
学完了编程语言之后，一般就可以进行大数据部分的课程学习了。一般来说，学习大数据部分的时间比学习Java的时间要短。大数据课程，包括大数据技术入门，海量数据高级分析语言，海量数据存储分布式存储，以及海量数据分析分布式计算等部分，Linux，Hadoop，Scala, HBase, Hive, Spark等等专业课程。如果要完整的学习大数据的话，这些课程都是必不可少的。

大数据技术学习前需要一定的Java技术作为基础支持，大数据由浅入深的学习内容：Java基础，前端技术（HTML，CSS，javascript），JavaWeb与数据库，Linux基础，Hadoop生态体系，Spark生态体系，Storm实时开发等。
在学习的过程中，投入时间和精力，以兴趣来驱动学习。代码实战是必须的，看的是别人的代码，动手写出来的才是自己的。

1、思维模式转变的催化剂是大量新技术的诞生，它们能够处理大数据分析所带来的3个V的挑战。扎根于开源社区，Hadoop已经是目前大数据平台中应用率最高的技术，特别是针对诸如文本、社交媒体订阅以及视频等非结构化数据。

2、除分布式文件系统之外，伴随Hadoop一同出现的还有进行大数据集处理MapReduce架构。根据权威报告显示，许多企业都开始使用或者评估Hadoop技术来作为其大数据平台的标准。

3、我们生活的时代，相对稳定的数据库市场中还在出现一些新的技术，而且在未来几年，它们会发挥作用。事实上，NoSQL数据库在一个广义上派系基础上，其本身就包含了几种技术。

4、总体而言，他们关注关系型数据库引擎的限制，如索引、流媒体和高访问量的网站服务。在这些领域，相较关系型数据库引擎，NoSQL的效率明显更高。

5、在Gartner公司评选的2012年十大战略技术中，内存分析在个人消费电子设备以及其他嵌入式设备中的应用将会得到快速的发展。随着越来越多的价格低廉的内存用到数据中心中，如何利用这一优势对软件进行最大限度的优化成为关键的问题。

6、内存分析以其实时、高性能的特性，成为大数据分析时代下的“新宠儿”。如何让大数据转化为最佳的洞察力，也许内存分析就是答案。大数据背景下，用户以及IT提供商应该将其视为长远发展的技术趋势。

首先当然是Linux了，这个是基础，大数据的组件都是在这个系统中跑的。重点掌握下Centos6/7或者Ubuntu14/16的基础命令，如系统的安装、用户配置、SSH、软件安装等。另外就是要有一些JAVA基础、或者会一些PYTHON语言。基本上就可以开始了。

• Java基础java设计与编程思想；Java面向对象；Java高级；Web前端开发；HTML基础；CSS3；JS脚本编程；JavaEE程序开发；JavaWeb后端开发；主流框架；

• 2大数据基础Linux系统管理；Shell编程设计；Maven简介；Maven安装部署与配置；Maven仓库；Maven POM；

• 3Hadoop生态体系HDFS分布式文件系统；MapReduce分布式计算模型；Yarn分布式资源管理器；Zookeeper分布式协调服务；Habse分布式数据库；Hive分布式数据仓库；FlumeNG分布式数据收集系统；Sqoop大数据迁移系统；

• 4Spark生态系统Scala黄金语言；Kafka分布式总线系统；SparkCore大数据计算基石；SparkSQL数据挖掘利器；SparkStreaming流式计算平台；SparkMllib机器学习平台；SparkGraphx图计算平台；

---