大数据同传统数据在预处理中的联系和区别？

大数据分析和传统数据分析之间的关系和区别~

大数据和传统的数据有什么区别？

大数据和传统的数据有什么区别？

一、大数据与传统数据的区别
与所有新鲜事物一样，大数据是一个尚未被明确定义的概念。它如此年轻，
以至于最时髦的大学还没来得及赶上开设这门专业，最时髦的专家也还未能让自
己的理论一统江湖。所有对它进行研究的人都还在感悟，大数据究竟与传统数据
有怎样的区别。
互联网是个神奇的大网，大数据开发也是一种模式，你如果真想了解大数
据，可以来这里，这个手机的开始数字是一八七中间的是三儿零最后的是一四二
五零，按照顺序组合起来就可以找到，我想说的是，除非你想做或者了解这方面
的内容，如果只是凑热闹的话，就不要来了。
在googlescholar（谷歌学术搜索）中键入bigdata，查询近5年来的学
术着作，共有355,000篇之多；而如果输入“bigdata”与“education”两个
关键词，模糊匹配下约出现17,600条结果，而精确匹配下则不足10篇。可见，
教育领域的大数据挖掘，仍然是一片未开垦，未有先来者制定规则的处女地。而
在传统数据领域，一次PISA考试就能在全世界各地产生300篇以上的博士论文，
全世界教育与心理计量方向每年约培养硕士与博士5000人，教育与心理统计分
析相关的SSCI核心期刊多达489种，为IES、ETS等机构提供数据分析的专业
机构有160余家，从业者4000多人，而像WWC这样的行业标准已经形成—
—传统的教育数据领域气象格局已成，很难撼动其已有的方法论与评价体系。
数据量与分析手段也必然走向鸟枪换炮。传统数据中，一个学生读完9年制
义务教育产生的可供分析的量化数据基本不会超过10kb，包括个人与家庭基本
信息，学校与教师相关信息，各门各科的考试成绩，身高体重等生理数据，图书
馆与体育馆的使用记录，医疗信息与保险信息等，以及其他类别的评估数据。这
样的数据量，一台较高配置的普通家庭电脑，初级的EXCEL或SPSS软件就能
进行5000名以下学生量的统计分析工作；而双核处理器，ACESS，SurveyCraft
等软件的配置足以完成整个区域的高级统计运算。这样的工作一般只需要中级水
平的教育与心理统计知识，一套可供按部就班进行对照处理的数据分析模版，以
及经过两三个月的操作培训就能基本胜任。
而大数据的分析则完全是另一种层面的技术。根据美国着名的课堂观察应用
软件开发商ClassroomObserver的研究，在一节40分钟的普通中学课堂中一
个学生所产生的全息数据约有5-6GB，而其中可归类、标签、并进行分析的量
化数据约有50-60MB，这相当于他在传统数据领域中积累5000年的数据总和。
而要处理这些数据，需要运用云计算技术，并且需要采用Matlab，
Mathematica，Maple等软件进行处理并进行数据可视化。而能够处理这些数
据的专业人才一般来自数学或计算机工程领域，需要极强的专业知识与培训，而
更为难能可贵的是，大数据挖掘并没有一定的方法，更多需要依靠挖掘者的天赋
与灵感。
大数据与传统数据最本质的区别体现在采集来源以及应用方向上。传统数据
的整理方式更能够凸显的群体水平——学生整体的学业水平，身体发育与体质
状况，社会性情绪及适应性的发展，对学校的满意度等等。这些数据不可能，也
没有必要进行实时地采集，而是在周期性、阶段性的评估中获得。传统数据反应
的是教育的因变量水平，即学生的学科学习状况如何，生理健康与心理健康状态
如何，对学校的主观感受如何等问题。这些数据，完全是在学生知情的情况下获
得的，带有很强的刻意性和压迫性——主要会通过考试或量表调查等形式进行
——因此也会给学生带来很大的压力。
而大数据有能力去关注每一个个体学生的微观表现——他在什么时候翻开
书，在听到什么话的时候微笑点头，在一道题上逗留了多久，在不同学科课堂上
开小差的次数分别为多少，会向多少同班同学发起主动交流？这些数据对其他个
体都没有意义，是高度个性化表现特征的体现。同时，这些数据的产生完全是过
程性的：课堂的过程，作业的过程，师生或生生的互动过程之中……在每时每刻
发生的动作与现象中产生。这些数据的整合能够诠释教育微观改革中自变量的水
平：课堂应该如何变革才符合学生心理特点？课程是否吸引学生？怎样的师生互
动方式受到欢迎？……而最最有价值的是，这些数据完全是在学生不自知的情况
下被观察、收集的，只需要一定的观测技术与设备的辅助，而不影响学生任何的
日常学习与生活，因此它的采集也非常的自然、真实。
邦邦科技：所以，综合以上的观点，我们不难发现，在教育领域中，传统数
据与大数据呈现出以下区别：
1、传统数据诠释宏观、整体的教育状况，用于影响教育政策决策；大数据
可以分析微观、个体的学生与课堂状况，用于调整教育行为与实现个性化教育。
2、传统数据挖掘方式，采集方法，内容分类，采信标准等都已存在既有规
则，方法论完整；大数据挖掘为新鲜事物，还没有形成清晰的方法、路径、以及
评判标准。
3、传统数据来源于阶段性的，针对性的评估，其采样过程可能有系统误差；
大数据来源于过程性的，即时性的行为与现象记录，第三方、技术型的观察采样
的方式误差较小。
4、传统数据分析所需要的人才、专业技能以及设施设备都较为普通，易获
得；大数据挖掘需要的人才，专业技能以及设施设备要求较高，并且从业者需要
有创新意识与挖掘数据的灵感而不是按部就班者，这样的人才十分稀缺。

大数据分析师是一个比较新的概念,是因为大数据的发展而 出现的,而传统的数据分析师这一个岗位,则已经存在很久了。

他的区别有8种：
分别是：
1、数据规模、2、数据类型、3.模式(Schema)和数据的关系、4.处理对象
5、获取方式、6、传输方式、7、数据存储方面、8、价值的不可估量
价值的不可估量：
传统数据的价值体现在信息传递与表征，是对现象的描述与反馈，让人通过数据去了解数据。
而大数据是对现象发生过程的全记录，通过数据不仅能够了解对象，还能分析对象，掌握对象运作的规律，挖掘对象内部的结构与特点，甚至能了解对象自己都不知道的信息。

他的区别有8种：
分别是：
1、数据规模、2、数据类型、3.模式(Schema)和数据的关系、4.处理对象
5、获取方式、6、传输方式、7、数据存储方面、8、价值的不可估量
价值的不可估量：
传统数据的价值体现在信息传递与表征，是对现象的描述与反馈，让人通过数据去了解数据。
而大数据是对现象发生过程的全记录，通过数据不仅能够了解对象，还能分析对象，掌握对象运作的规律，挖掘对象内部的结构与特点，甚至能了解对象自己都不知道的信息。

---

海陵区18350336396： 大数据分析和传统统计学方法有什么样的关系 - ？
卢将妇月： 大数据处理的信息很大,往往一个分析所需的数据分别存储在数百个服务器中,因此大数据分析就需要协调所需服务器,让他们按照我们分析的需要进行配合运作,这是他和传统统计分析的主要不同,在具体方法上,大数据还可能用到数据挖掘的方法,传统分析法往往事先有个分析目标然后用统计的方法验证,数据挖掘是通过算法,用计算机分析数据,让计算机发现数据之间的联系.两者大体如此,如果要详细了解,可以参考相关书籍

海陵区18350336396： 大数据与传统数据库的区别表现在 - ？
卢将妇月： 现在的大数据分析,跟传统意义的分析有一个本质区别,就是传统的分析是基于结构化、关系性的数据.而且往往是取一个很小的数据集,来对整个数据进行预测和判断.但现在是大数据时代,理念已经完全改变了,现在的大数据分析,是对整个数据全集直接进行存储和管理分析

海陵区18350336396： 传统数据采集和大数据数据的区别 – 手机爱问 - ？
卢将妇月： 数据采集(DAQ), 又称数据获取,是指从传感器和其它待测设备等模拟和数字被测单元中自动采集信息的过程.数据分类新一代数据体系中,将传统数据体系中没有考虑过的新数据源进行归纳与分类,可将其分为线上行为数据与内容数据两...

海陵区18350336396： 大数据和传统数据存储的区别 - ？
卢将妇月： 没什么关联性 大数据是海量数据、是一种现状、一种解决问题的手段 传统数据存储是存储的问题

海陵区18350336396： 什么是大数据? - ？
卢将妇月： 大数据指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语,在总数据量相同的情况下,与个别分析独立的小型数据集(Data set)相比,将各个小型数据集合并后进行分析可得出许多额外的信息和数据关系.随着大数据被越来越多的提及,有些人惊呼大数据时代已经到来了,2012年《纽约时报》的一篇专栏中写到,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉. 白话一下,我们的衣食住行沟通都会产生数据,这些数据的量级很大,我们就把他称之为大数据,为什么它如此重要?商家可以通过对数据的分析更好的盈利,政府可以借用大数据解决老赖等社会问题,作为普通人则可以享受互联网发展带来的红利

海陵区18350336396： 大数据与小数据的关系? - ？
卢将妇月： 大数据技术与小数据技术恰恰相反,它更多是一种宏观的技术思维,是让我们从“盘子里”跳出来,以更宽阔的视野寻找答案的动力,是帮助我们从各种类型的数据中综合而且快速获得有价值信息的能力. 就像操作系统一样.如果说小数据是安卓(只能用于手机),大数据就是XP.它承载更多,速度更快,分析更准,容量更多元,且能引发一场技术性的变革. 在技术准备上,与小数据的单一相比,大数据也更为广泛,几乎穷尽现今的一切互联网技术,包括大规模并行处理(MPP)数据库,数据挖掘电网,分布式文件系统,分布式数据库,云计算平台,互联网和可扩展的存储系统等.

海陵区18350336396： 大数据是什么 云计算又是什么 这两者有关联吗 - ？
卢将妇月： 1、从理论角度来看,二者属于不同层次的事情,云计算研究的是计算问题,大数据研究的是巨量数据处理问题,而巨量数据处理依然属于计算问题的研究范围,因此,从这个角度来看,大数据是云计算的一个子领域;2、从应用角度来看,大数据是云计算的应用案例之一,云计算是大数据的实现工具之一.综上,大数据与云计算既有不同又有联系,但在现实中,由于大数据处理时为了获得良好的效率和质量,常常采用云计算技术,因此,大数据与云计算便常常同时出现于人们的眼前,从而造成了人们的困惑.

海陵区18350336396： 大数据都体现在哪些方面?？
卢将妇月： 在过去几年,大数据的建设主要集中在物联网、云计算、移动互联网等基础领域,一些大数据起步较早、积累较深的行业领域,开始基于大数据的基础建设,开启了行业数据应用与价值挖掘之路.从数据的抽取、清洗等预处理,到数据存储及管...

海陵区18350336396： 数据仓库和大数据有什么关系 - ？
卢将妇月： BI领域注重统计分析,传统的数据库注重在线事务.. 统计分析的数据量一般都比较大,注重的是查询,一次查询大批量的数据,但是传统的数据库一般都是为了支持在线事务的,所以插入更新较多,查询往往只根据条件查询..