关于大数据和机器智能的基础概念

作者&投稿:致肯 (若有异议请与网页底部的电邮联系)
~ 大数据和人工智能一直是炒作和讨论的热点,但具体什么是大数据?怎么样才算机器有了智能?是不是数据量大了就是大数据?根据预定好的规则生成特定的结果就是智能了?

所谓机器智能通俗讲就是机器(更多时候指计算机)能够做只有人才能做的事。如何判断一个机器有智能呢?1950年图灵博士提出了测试的方法,即图灵测试-----让机器和人同时隐藏起来回答问题,若提问者分辨不出是机器在回答还是人在回答,那么机器就有了智能。

沿着图灵测试,计算机科学家们认为如果计算机能做下面的几件事,就算有了智能:

1.语音识别:这就好像人能够听懂语言

2.机器翻译:这就好像人能够看懂文字

3.文本的自动摘要或写作:这就好像只有人才懂得抓重点和组合出有意义的段落、文章

4.战胜人类的国际象棋冠军:但其实象棋这种封闭式规则的事情,计算机能够比人更胜任是很正常的。因为计算机可以快速计算和判断最好的走法且不受情绪等环境的影响。所以个人不认为这个能代表计算机有了智能

5.自动回答问题:这就好像人可以理解语言并根据理解给出答案

一直以来,科学家们在让机器有智能上,更多的努力放在怎么样让机器跟人一样的思考,史称机器智能1.0鸟飞派(传统机器智能方法)----让机器像人一样的思考来获得智能。但是收效并不客观,经过20几年的发展,这种方法遇到了很大瓶颈。

直到1970贾里尼克用通信的思路解决这个问题:建立数学模型,并通过机器学习不断训练模型。至此开创了数据驱动的方法来解决智能的问题。贾里尼克开创的采用统计方法的语音识别系统较传统的语音识别方法识别率从70%提高到了90%,使得语音识别从实验室的研究走向了实际的应用。

那么传统的方法和贾里尼克的方法分别是如何实现语音识别的呢?

传统的方法是:整理语法与语义形成规则,当一句话输入时,计算机就根据语法和语义去匹配来识别语音。这就好像我们学英语,要懂得读音、单词的意义、语法,才能懂得一句话。

贾里尼克的方法是:用马尔科夫模型来描述信源和信道,模型中有很多参数,然后用数据来训练最佳的参数取值,最后得到最佳的效果(具体参数是什么?是怎样训练的?训练后怎样转换等涉及的知识很多,不详述)。

可以看到,数据驱动的方法完全抛弃了传统基于像人一样的做法,完全依赖于模型和对模型的训练(训练模型的过程就是机器学习的过程)。

从上文可以看到,数据驱动实现智能的方法对机器学习的依赖,而机器学习效果的好坏依赖于可供学习的数据。

虽然贾里尼克开创了新的实现智能的方法,但是在很多领域,由于积累的数据量不足以支撑训练的需要,因此机器智能的发展并没有很大的提高。比如机器翻译,直到20世纪90年代互联网的兴起,准确性才不断提高,这是因为互联网积累了大量的可供训练的翻译数据,使得可以不断通过机器学习修正模型。

大数据促进机器智能的发展是因为大数据多维度、完备的特征。多维度、完备的数据,可以让计算机学习到所有情况,进而处理问题时,可以处理所有场景。比如机器翻译,大数据包含了所有可能的语句翻译,这让计算机可以学习到所有可能的翻译情况,当需要翻译的时候,只要将结果匹配出来就可以了。

说起大数据,大家都知道它的3v特征:vast、variety、velocity

首先理解后面两个特征:

1.variety:多样:多样性指的是数据包含了不同的方面。比如描述一个人的数据,多样性意味着,能描述这个人从长相、生活、精神等等各个方面。有了不同的方面,意味着可以将数据抽象成不同的维度,然后把不同的维度随意组合联系起来,这样就可以得到单个角度看得不到的结果。

2.velocity:完备:完备性指的是数据覆盖了全部的可能性。而不像统计学上只能通过样本来预测全部,大数据本身就是全集。

有了前两个特征就不难理解vast大量的特征了:覆盖所有维度、包含全部可能性的数据集合起来当然数据量就很大了。

这三个特点对大数据可以说是缺一不可,缺少任何一个,都无法发挥大数据的威力,也无法让大数据促进机器智能的实现。

1.数据的产生:1.全球数字化程度不断提高,使得很多数据实现了电子化(比如纸质的办公转为电脑办公);数字化使得各种信息系统不断被开发使用和复杂程度越来越高,系统的运行无时无刻不在产生数据。2.传感器技术的大量应用和普及,包括商品上的rfid芯片、交通传感器、穿戴设备等。3.将非数字化的内容数字化,如将纸质书籍转换成电子书。4.互联网2.0的发展使得每个人每天都在产生数据,发的朋友圈、文章、评论等。

2.数据的存储:数据的产生渠道越来越多,数据量也就越来越大,摩尔定律指导下的半导体产业的发展使得存储器的容量不断增长、价格不断降低,这使得将这么多的数据存储可以以低成本存储下来。

3.数据的读取:如果把大量的数据存储下来,但是计算机的处理(单说输入输出)速度跟不上,也无法使用这些数据,固态硬盘容量变大、成本降低使得使用这么多数据成为可能。

4.数据的传输:数据从各个产生端(如传感器)生成后,如何传输到存储器(如服务器)上存储起来,第四代lte和WiFi的发展使得传输不再是问题。

5.数据的处理:如何分析使用这么大量的数据,就需要处理能力很高的处理器,虽然处理器的性能遵循摩尔定律,每18个月翻一番,但数据产生的速度远远超过处理器性能的提升。因此无法用单一处理器处理大数据。并行计算技术的出现解决了这一问题(但并行技术本身又受到交换机、网络速度等条件的限制,2002年Google等公司在解决这些问题上取的了很大进展,使得云计算开始兴起)

数据产生、存储、处理技术的进步和发展,使得使用大数据成为可能,当条件成熟时,大数据自然而然就出现和发展起来了。

是不是有了大数据就能毫无问题地实现机器智能了?显然要实现机器智能,要有完备的数据、要能够处理完备的数据。虽然数据存储、处理的技术在不断发展,但是在实际应用的过程中,仍然还有很大的局限性,这些技术条件是不可逾越的条件:

1.大数据的收集:关键在于如何获得完备、多样的全集数据?尤其是一些不常见场景的数据如何获取到?

2.数据存储:关键在于数据量的增长大于存储器的增长、以及用什么样的结构存储才便于读取和使用?(那么多的维度如何抽象呢?如何检索呢?)

3.数据共享:大数据的完备性,使得单独的公司很难收集到所有的数据,这就要求将不同公司收集的数据集合起来使用(比如从事电商的公司有购买方面的数据、从事出行方面的公司有出行方面的数据,但没有一个公司能够同时收集到这两方面的数据)。不同的公司存储、使用数据的方式不一致,当要集合起来的时候如何统一数据格式来实现共享和共用呢?

4.并行计算:一些特殊的场景无法并行计算,这导致整个计算的最终结果需要等待特殊情况的处理;不同计算器的计算效率不同,整个任务处理由最慢的计算结果决定;因此并行计算并不是只是多加服务器那么简单,还需要优化数据的存储结构和整个计算的算法过程。

5.数据挖掘:杂乱超大量的数据无法直接使用,需要先进行清洗和格式化处理,当数据量达到一定量级时,这一步变得并不容易;尤其是噪声高时,清洗处理的结果直接影响了应用的有效性;数据量大、学习模型复杂,使得机器学习的过程变得很漫长,对并行计算的要求也越高。

所以,当再次听到AI、大数据的时候,是不是就能够判断是真智能还是假智能,是真大数据还是假大数据了。


机器人,计算机和大数据哪个好?
机器人、计算机和大数据是三个不同的领域,各有其独特的优点和应用场景。选择哪个更好取决于个人的兴趣、职业规划和市场需求。机器人技术是一个不断发展的领域,涵盖了机器感知、运动控制、人工智能等多个方面。如果你对硬件、嵌入式系统、自动化等方面感兴趣,或者希望从事机器人相关的工作,那么机器人...

大数据与人工智能专业学什么
大数据专业课程:面向对象程序设计、集合与图论、数字逻辑与部件设计、数据结构、代数结构与数理逻辑、计算机原理、数据库引论、概率论与数理统计、计算机网络、操作系统、算法设计与分析、计算机体系结构、软件工程、编译、计算机图形学、软件工程化开发、人工智能、大规模分布式系统、神经网络与深度学习、数字信号...

人工智能是不是基于大数据?
是的,人工智能离不开数据的训练。人工智能是需要人力、脑力、开发、高等技术与不断的研究和尝试等等一系列超高难度的作业才能完成的科技产品。当然这种研究是得到国家和人们大力支持的发展。它的发展对国际影响力是非常大的。人工智能也可以定义为高仿人类,虽然不可能会像人一样具有灵敏的反应和思考能力,...

大数据分析与机器学习之间的区别与联系?
无论是Apple的Siri还是Amazon的Echo,人工智能和机器学习都正在慢慢取代我们作为现代助手的生活。如果从更大的角度看,人工智能也将成为每个增长业务的一部分,越来越多的人熟悉大数据,大数据分析和机器学习等技术术语,并使用它们来解决复杂的分析问题。通过处理足够的数据,公司可以使用大数据分析技术来发现,...

物联网,大数据,云计算和人工智能之间有怎样的关系?
大数据需要特殊的技术以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术,包括大规模的并行处理数据库、数据挖掘、分布式文件系统、分布式数据可、云计算平台、互联网和可扩展的存储系统。人工智能 人工智能英文缩写为AI,它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的...

物联网、大数据、云计算、人工智能之间的关系如何?
7.边缘计算本质是互联网云脑神经末梢的发育和成长,人工智能技术不但应用在中枢神经系统中的大数据,神经元网络中,也分布到神经系统的末梢。让互联网云脑的感觉神经系统,运动神经系统的末梢控制变得更为智能和健壮。8.移动互联网本质是互联网云脑神经纤维种类的丰富,让互联网用户更便捷,更不受地域限制...

物联网,云计算,大数据,人工智能怎么区分与彼此关系
人工智能与大数据、云计算的关系人工智能其实就是大数据、云计算的应用场景。现在已经比较火热的VR,沉浸式体验,就是依赖于大数据与云计算,让用户能够由更加真切的体验,并且VR技术是可以使用到各行各业的。人工智能不同于传统的机器人,传统机器人只是代替人类做一些已经输入好的指令工作,而人工智能则...

人工智能和数据分析专业前景好不好?
1. 人工智能和机器学习:随着科技的快速发展,人工智能和机器学习领域的专业人才需求将持续增长。无论是在互联网、金融、医疗还是制造业,人工智能和机器学习都将在未来发挥越来越重要的作用。2. 数据科学和分析:大数据的普及使得数据科学和分析专业成为了热门选择。这个领域的专业人才可以通过对大量数据进行...

大数据和工业机器人哪个专业好?
工业机器人领域也是当前非常热门的领域,随着制造业的自动化和智能化发展,工业机器人应用越来越广泛。工业机器人的应用范围很广,包括汽车、电子、机械、航空等领域。通过工业机器人的应用,可以提高生产效率、降低成本、提高产品质量,是制造业转型升级的重要方向。从就业前景来看,大数据和工业机器人都是...

机器智能带来的新商业模式是用户
机器智能带来的新商业模式是用户。在机器智能的驱动下,商业模式正经历着深刻的变革,用户成为了这一变革的核心。机器智能技术如大数据分析、自然语言处理和深度学习等,使得企业能够更精准地理解用户需求,从而提供个性化的产品或服务。例如,许多电商平台通过收集用户的购物历史和浏览数据,利用算法为用户推荐...

清原满族自治县15698409794: 什么是大数据? -
丰翰首抗: 大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产.什么是大数据 大数据指无法在一定时间范围内...

清原满族自治县15698409794: 如何理解云计算,大数据和人工智能三者间的关系 -
丰翰首抗: 云计算、大数据、人工智能这三者的发展不能分开来讲,三者是有着紧密联系的,互相联系,互相依托的,脱离了谁都不能更好的发展,让我们具体来看一下! 一、大数据 大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理...

清原满族自治县15698409794: 大数据是什么 -
丰翰首抗: 大数据概念包含几个方面的内涵吧 1. 数据量大,TB,PB,乃至EB等数据量的数据需要分析处理. 2. 要求快速响应,市场变化快,要求能及时快速的响应变化,那对数据的分析也要快速,在性能上有更高要...

清原满族自治县15698409794: 什么是大数据?
丰翰首抗: 所谓的大数据,简单说是对大量、动态、能持续的数据,通过运用新系统、新工具、新模型的挖掘,从而获得具有洞察力和新价值的东西,是一种新的分析理念.大数据在一些金融工具中已经有体现了,大家不妨搜一款叫超级云脑的工具,就是用的大数据.

清原满族自治县15698409794: 大数据是什么?
丰翰首抗: 大数据只是一个空洞的商业术语,就跟所谓的商业智能一样空洞无物.当然,这并不是说大数据没有意义,只是对于不同的人有不同的含义.A.对于投资人和创业者而言,大数据是个热门的融资标签.就和前几年流行的 SoLoMo,这几年火爆的 ...

清原满族自治县15698409794: 什么是大数据,大数据会带来哪些变革 -
丰翰首抗: 1. 大数据:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征. 2. 大数据的价值体现在以下几个方面:1)对大量...

清原满族自治县15698409794: 大数据时代,大数据概念,大数据分析是什么意思? -
丰翰首抗:世界包含的多得难以想象的数字化信息变得更多更快……从商业到科学,从政府到艺术,这种影响无处不在.科学家和计算机工程师们给这种现象创造了一个新名词:“大数据”.大数据时代什么意思?大数据概念什么意思?大数据分析什么意...

清原满族自治县15698409794: 大数据时代 如何理解“大数据” -
丰翰首抗: 最早提出大数据概念的学科是天文学和基因学,这两个学科从诞生之日起就依赖于基于海量数据的分析方法. 大数据可以说是计算机和互联网结合的产物,计算机实现了数据的数字化;互联网实现了数据的网络化;两者结合才赋予了大数据生...

清原满族自治县15698409794: 为什么大数据是人工智能的基础 -
丰翰首抗: 电脑需要学习,学习的对象就大数据收集来的数据 阿尔法狗能战胜人类 依托的就是海量的数据学习,并不是真正能达到人脑这种智能程度,所以人工智能的进步是建立在学习海量的数据基础之上的.所以大数据是人工智能的基础.

清原满族自治县15698409794: 人工智能好,还是大数据好? -
丰翰首抗: 想了解大数据与人工智能孰优孰劣,首先我们得从认知和理解大数据和人工智能的概念开始. 1、大数据 大数据是物联网、Web系统和信息系统发展的综合结果,其中物联网的影响最大,所以大数据也可以说是物联网发展的必然结果.大数据相...

本站内容来自于网友发表,不代表本站立场,仅表示其个人看法,不对其真实性、正确性、有效性作任何的担保
相关事宜请发邮件给我们
© 星空见康网