如何应对大数据时代的变革机遇挑战

如何看待大数据时代下我国面临的机遇和挑战~

机遇是利用大数据进行资源的整合，可以让资源合理利用，挑战就是将面临着国际的竞争，资源整合也是有竞争有挑战的。

任何情况下的信息管理，都是企业管理及时掌握情况的信息渠道源，无论是外部数据还是内部数据，现在的企业竞争是人才和信息的竞争。谁先掌握产业发展动向及信息，谁就控制了产业的发展方向。企业的信息管理，应该是放在首位的，外部的大数据信息，会给企业带来行业动向及产业的潜在变化影响信号，而内部的信息管理，始终是管理者进行管理的航标灯。

　　大数据泛指巨量的数据集，因可从中挖掘出有价值的信息而受到重视。《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。麦肯锡公司的报告指出数据是一种生产资料，大数据是下一个创新、竞争、生产力提高的前沿。世界经济论坛的报告认定大数据为新财富，价值堪比石油。因此，发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手。

　　大数据时代的来临

　　互联网特别是移动互联网的发展，加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示，1998年全球网民平均每月使用流量是1MB（兆字节），2000年是10MB，2003年是100MB，2008年是1GB（1GB等于1024MB），2014年将是10GB。全网流量累计达到1EB（即10亿GB或1000PB）的时间在2001年是一年，在2004年是一个月，在2007年是一周，而2013年仅需一天，即一天产生的信息量可刻满1.88亿张DVD光盘。我国网民数居世界之首，每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易，单日数据产生量超过50TB（1TB等于1000GB），存储量40PB(1PB等于1000TB)。百度公司目前数据总量接近1000PB，存储网页数量接近1万亿页，每天大约要处理60亿次搜索请求，几十PB数据。一个8Mbps（兆比特每秒）的摄像头一小时能产生3.6GB数据，一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在，一个病人的CT影像数据量达几十GB，而全国每年门诊人数以数十亿计，并且他们的信息需要长时间保存。总之，大数据存在于各行各业，一个大数据时代正在到来。

　　信息爆炸不自今日起，但近年来人们更加感受到大数据的来势迅猛。一方面，网民数量不断增加，另一方面，以物联网和家电为代表的联网设备数量增长更快。2007年全球有5亿个设备联网，人均0.1个；2013年全球将有500亿个设备联网，人均70个。随着宽带化的发展，人均网络接入带宽和流量也迅速提升。全球新产生数据年增40%，即信息总量每两年就可以翻番，这一趋势还将持续。目前，单一数据集容量超过几十TB甚至数PB已不罕见，其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。

　　数据规模越大，处理的难度也越大，但对其进行挖掘可能得到的价值更大，这就是大数据热的原因。首先，大数据反映舆情和民意。网民在网上产生的海量数据，记录着他们的思想、行为乃至情感，这是信息时代现实社会与网络空间深度融合的产物，蕴含着丰富的内涵和很多规律性信息。根据中国互联网络信息中心统计，2012年底我国网民数为5.64亿，手机网民为4.2亿，通过分析相关数据，可以了解大众需求、诉求和意见。其次，企业和政府的信息系统每天源源不断产生大量数据。根据赛门铁克公司的调研报告，全球企业的信息存储总量已达2.2ZB（1ZB等于1000EB），年增67％。医院、学校和银行等也都会收集和存储大量信息。政府可以部署传感器等感知单元，收集环境和社会管理所需的信息。2011年，英国《自然》杂志曾出版专刊指出，倘若能够更有效地组织和使用大数据，人类将得到更多的机会发挥科学技术对社会发展的巨大推动作用。

　　大数据应用的领域

　　大数据技术可运用到各行各业。宏观经济方面，IBM日本公司建立经济指标预测系统，从互联网新闻中搜索影响制造业的480项经济数据，计算采购经理人指数的预测值。印第安纳大学利用谷歌公司提供的心情分析工具，从近千万条网民留言中归纳出六种心情，进而对道琼斯工业指数的变化进行预测，准确率达到87%。制造业方面，华尔街对冲基金依据购物网站的顾客评论，分析企业产品销售状况；一些企业利用大数据分析实现对采购和合理库存量的管理，通过分析网上数据了解客户需求、掌握市场动向。有资料显示，全球零售商因盲目进货导致的销售损失每年达1000亿美元，这方面的数据分析大有作为。

　　在农业领域，硅谷有个气候公司，从美国气象局等数据库中获得几十年的天气数据，将各地降雨、气温、土壤状况与历年农作物产量的相关度做成精密图表，预测农场来年产量，向农户出售个性化保险。在商业领域，沃尔玛公司通过分析销售数据，了解顾客购物习惯，得出适合搭配在一起出售的商品，还可从中细分顾客群体，提供个性化服务。在金融领域，华尔街“德温特资本市场”公司分析3.4亿微博账户留言，判断民众情绪，依据人们高兴时买股票、焦虑时抛售股票的规律，决定公司股票的买入或卖出。阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和讲究诚信的企业，对他们发放无需担保的贷款。目前已放贷300多亿元，坏账率仅0.3%。

　　在医疗保健领域，“谷歌流感趋势”项目依据网民搜索内容分析全球范围内流感等病疫传播状况，与美国疾病控制和预防中心提供的报告对比，追踪疾病的精确率达到97%。社交网络为许多慢性病患者提供临床症状交流和诊治经验分享平台，医生借此可获得在医院通常得不到的临床效果统计数据。基于对人体基因的大数据分析，可以实现对症下药的个性化治疗。在社会安全管理领域，通过对手机数据的挖掘，可以分析实时动态的流动人口来源、出行，实时交通客流信息及拥堵情况。利用短信、微博、微信和搜索引擎，可以收集热点事件，挖掘舆情，还可以追踪造谣信息的源头。美国麻省理工学院通过对十万多人手机的通话、短信和空间位置等信息进行处理，提取人们行为的时空规律性，进行犯罪预测。在科学研究领域，基于密集数据分析的科学发现成为继实验科学、理论科学和计算科学之后的第四个范例，基于大数据分析的材料基因组学和合成生物学等正在兴起。

　　麦肯锡公司2011年报告推测，如果把大数据用于美国的医疗保健，一年产生潜在价值3000亿美元，用于欧洲的公共管理可获得年度潜在价值2500亿欧元；服务提供商利用个人位置数据可获得潜在的消费者年度盈余6000亿美元；利用大数据分析，零售商可增加运营利润60%，制造业设备装配成本会减少50%。

　　大数据技术的挑战和启示

　　目前，大数据技术的运用仍存在一些困难与挑战，体现在大数据挖掘的四个环节中。首先在数据收集方面。要对来自网络包括物联网和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全面性和可信性。其次是数据存储。要达到低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重，减少存储量，同时加入便于日后检索的标签。第三是数据处理。有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量，处理的复杂度很大，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。第四是结果的可视化呈现，使结果更直观以便于洞察。目前，尽管计算机智能化有了很大进步，但还只能针对小规模、有结构或类结构的数据进行分析，谈不上深层次的数据挖掘，现有的数据挖掘算法在不同行业中难以通用。

　　大数据技术的运用前景是十分光明的。当前，我国正处在全面建成小康社会征程中，工业化、信息化、城镇化、农业现代化任务很重，建设下一代信息基础设施，发展现代信息技术产业体系，健全信息安全保障体系，推进信息网络技术广泛运用，是实现四化同步发展的保证。大数据分析对我们深刻领会世情和国情，把握规律，实现科学发展，做出科学决策具有重要意义，我们必须重新认识数据的重要价值。

　　为了开发大数据这一金矿，我们要做的工作还很多。首先，大数据分析需要有大数据的技术与产品支持。发达国家一些信息技术（IT）企业已提前发力，通过加大开发力度和兼并等多种手段，努力向成为大数据解决方案提供商转型。国外一些企业打出免费承接大数据分析的招牌，既是为了练兵，也是为了获取情报。过分依赖国外的大数据分析技术与平台，难以回避信息泄密风险。有些日常生活信息看似无关紧要，其实从中也可摸到国家经济和社会脉搏。因此，我们需要有自主可控的大数据技术与产品。美国政府2012年3月发布《大数据研究与发展倡议》，这是继1993年宣布“信息高速公路”之后又一重大科技部署，联邦政府和一些部委已安排资金用于大数据开发。我们与发达国家有不少差距，更需要国家政策支持。

　　中国人口居世界首位，将会成为产生数据量最多的国家，但我们对数据保存不够重视，对存储数据的利用率也不高。此外，我国一些部门和机构拥有大量数据却不愿与其他部门共享，导致信息不完整或重复投资。政府应通过体制机制改革打破数据割据与封锁，应注重公开信息，应重视数据挖掘。美国联邦政府建立统一数据开放门户网站，为社会提供信息服务并鼓励挖掘与利用。例如，提供各地天气与航班延误的关系，推动航空公司提升正点率。

　　大数据的挖掘与利用应当有法可依。去年底全国人大通过的加强网络信息保护的决定是一个好的开始，当前要尽快制定“信息公开法”以适应大数据时代的到来。现在很多机构和企业拥有大量客户信息。应当既鼓励面向群体、服务社会的数据挖掘，又要防止侵犯个体隐私；既提倡数据共享，又要防止数据被滥用。此外，还需要界定数据挖掘、利用的权限和范围。大数据系统本身的安全性也是值得特别关注的，要注意技术安全性和管理制度安全性并重，防止信息被损坏、篡改、泄露或被窃，保护公民和国家的信息安全。

　　大数据时代呼唤创新型人才。盖特纳咨询公司预测大数据将为全球带来440万个IT新岗位和上千万个非IT岗位。麦肯锡公司预测美国到2018年需要深度数据分析人才44万—49万，缺口14万—19万人；需要既熟悉本单位需求又了解大数据技术与应用的管理者150万，这方面的人才缺口更大。中国是人才大国，但能理解与应用大数据的创新人才更是稀缺资源。

　　大数据是新一代信息技术的集中反映，是一个应用驱动性很强的服务领域，是具有无穷潜力的新兴产业领域；目前，其标准和产业格局尚未形成，这是我国实现跨越式发展的宝贵机会。我们要从战略上重视大数据的开发利用，将它作为转变经济增长方式的有效抓手，但要注意科学规划，切忌一哄而上。

　　（作者：中国工程院院士）

大数据搭着信息时代的快车来到了我们的面前，数据的价值逐渐为人们所重视，同时也让数据分析师的身价倍增。而随着大数据分析工具等大数据应用技术的出现，未来的数据分析师又将遇到怎样的挑战和机遇呢?
工具抢了人的饭碗?
很多大数据分析工具的设计起点非常高，定位了数据分析过程中所需要的大部分功能。很多工具的功能涵盖了从数据前期整合、收集到挖掘、分析乃至末端的数据可视化的整个数据分析过程，功能不可谓不强大。
但如果仅凭这些就认定大数据分析工具能取代数据分析师，未免有些杞人忧天了。恰恰相反，大数据分析工具不是数据分析师的竞争者，而是协助者。工具本来就是为人服务的，数据分析师的专业素养让其能很好的发挥大数据分析工具的性能，二者相辅相成，是友非敌。
企业的支持
虽然大数据的概念已经普及，但是很多企业还是留存有一些传统的观念。很多企业虽然重金聘用了数据分析师甚至是组建了数据分析师团队，但是却并没有建立完善的数据价值体系。对数据分析工作缺乏理解与支持。
相对于数据管理，数据分析工的工作重心还应该放在“挖掘数据价值”上。企业与数据分析师直接缺少职能的沟通，将直接影响企业对数据分析师工作性质的定位;同时，企业应该建立数据库并部署大数据分析工具，为了能更好地对接用户，也为企业和数据分析师留有足够的空间。
从幕后到台前的转变
以往的业务人员经常要磨破嘴皮才能得到别人的认同，而现在许多企业正在考虑让数据分析师带着数据分析结果去谈业务。打算以“让数据说话，以数据服人”去赢得客户的信任。而主要的实施过程，是靠数据可视化技术来实现的。
数据可视化技术让数据能以图表和视频的方式直观地展示在人们面前，而数据分析师作为数据的管理者和挖掘者，是最适合不过的讲解人了。这样就要求数据分析师不仅要有扎实的数据分析能力，还要能提取数据精髓，并将之演讲出来以获得他人的认同。从幕后转到台前，这里面会需要许多技能，数据分析师的工作性质也将发生改变。
在大数据时代，数据分析师所扮演的角色不可能是一成不变的。而只有顺应时代的潮流，响应时代的需要，数据分析师这个行业才能继续生存并发展。其实，大数据分析工具，数据可视化这些技术的出现固然使行业受到了影响与挑战，但对于数据分析师来说，未尝不是一次摆脱传统束缚的机遇!

---

河源市14750553027： 如何看待大数据时代下我国面临的机遇和挑战 - ？
曾泡韦迪： 机遇是利用大数据进行资源的整合,可以让资源合理利用,挑战就是将面临着国际的竞争,资源整合也是有竞争有挑战的.

河源市14750553027： 如何看待大数据时代我国面临的机遇和挑战 - ？
曾泡韦迪： 大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产.[1] 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》[2] 中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理.大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性).[3]

河源市14750553027： 大数据带来的挑战有哪些 - ？
曾泡韦迪： 大数据近年来发展的非常快,现在也普遍得到应用,大数据带来了机遇同时也带来了挑战,当大数据产业链、行业应用逐步发展完善之后,大数据将会形成质变,创新整个社会形态.光环大数据培训认为,大数据行业的真正挑战来自三个方面:一是原来的分析基础要变化,要融合统计学、计算理论基础、逻辑基础.二是,计算技术也需要重新革新,无论是存储、计算语言、还是计算方法都需要重新来过.三是,大数据做出来的结论对不对,还无法大规模验证,这是目前面临的最大挑战.

河源市14750553027： 如何认识大数据时代带来的变革 - ？
曾泡韦迪： 大数据是大量、高速、多变的信息,它需要新型的处理方式去促成更强的决策能力、洞察力与最佳化处理.大数据为企业获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力.现在的社会是一个高速发展的社会,科技发达,信息流通,...

河源市14750553027： 在当前大数据的新环境下it企业面临哪些机会与挑战? - ？
曾泡韦迪： 1. 挑战一:数据来源错综复杂,丰富的数据源是大数据产业发展的前提.而我国数字化的数据资源总量远远低于美欧. 2. 挑战二:数据挖掘分析模型建立,关于大数据分析,人们鼓吹其神奇价值的喧嚣声浪很高,却鲜见其实际运用得法的模式和方法. 3. 挑战三:数据开放与隐私的权衡,目前我国一些部门和机构拥有大量数据但宁愿自己不用也不愿提供给有关部门共享,导致信息不完整或重复投资. 4. 挑战四:大数据管理与决策, 在今时今日的商业世界中,高管的决策仍然更多地依赖个人经验和直觉,而不是基于数据. 5. 挑战五:大数据人才缺口,精通大数据技术的相关人才也成为一个大缺口.

河源市14750553027： 管理会计将如何在大数据时代化挑战为机遇? - ？
曾泡韦迪： 对于大多数财会人士来说,“大数据”既是机遇也是挑战.一方面,大数据给财务人士创造了更好的条件,“得数据者得天下“,通过对大量的数据进行科学的分类整理以及分析,能够为企业决策提供强大的数据支撑.另一方面,也使其信息整...

河源市14750553027： 专业技术人员如何适应新时代发展的机遇与与挑战 - ？
曾泡韦迪： 不断关注行业新动态,调整转变思路,学习行业新知识,掌握行业新技术,就能跟上新时代的发展,应对得了任何挑战.

河源市14750553027： 大数据时代,运营商如何应对? - ？
曾泡韦迪： 2010年全球数据量达到1.2ZB,2011年全球数据量达到1.8ZB,到2020年全球数据量将达到35ZB.数据密度将达到前所未有的高度,大数据时代的画卷已经展开. 随着大数据时代的到来,产业格局正在重塑,传统电信运营商面临低值化、管道化...

河源市14750553027： 如何在大数据时代下进行城市管理 - ？
曾泡韦迪： 一、大数据时代城市管理的机遇: 首先,有利于数字化城市建设.城市化过程中出现的管理问题,传统的城市管理方式早已对我国出现的城市问题束手无策,在大数据时代到来的背景下,数字化城市建设就呼之欲出. 其次,有利于电子政务建...

河源市14750553027： 什么是大数据,大数据会带来哪些变革 - ？
曾泡韦迪： 1. 大数据:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征. 2. 大数据的价值体现在以下几个方面:1)对大量...