大数据时代来临你准备好了吗_
时间：2020-08-12 17:19:45 来源：达达文档网 本文已影响 人 
近来,“大数据(Big Data ”一词快速升温,无数专家和媒体频繁提到“大数据”时代已经来临,那么到底什么是大数据,仅从字面来理解,大数据的主要特点就是“大”:除了以往传统方法获取的数据外,新的数据来源层出不穷、源源不断,形成一个随时间变化的巨大数据流。这股数据流摧毁了当前的数据监测和研究行业,也彻底颠覆了人们的理解和想象。
事实上,“大数据”并不是一项技术,而是由于不断增长的数据量和数据种类而逐渐衍生出来的一种现象。因此,“大数据”在业内并没有统一的定义。不同厂商,不同用户,站的角度不同,对大数据的理解也不一样。
因为大数据的概念听起来很美好,似乎利用大数据的大门在不久的将来
就会打开。但一切并没有那么简单。
在这种大背景下,北京市科技信息中心主办的“2012大数据时代科技信息资源创新服务研讨会”在云南昆明举行。来自北京、上海、广东等全国7省市24家单位的40余位从事科技信息服务行业的代表参加了研讨会。
信息技术的发展日新月异,利用新的信息技术和资源展示方法,实现个性化、定制化的知识服务,是科技信息资源创新服务的研究热点。当前大数据时代背景下,这方面的深入研究更为迫切。北京市科委积极探索和尝试科技信息资源的创新服务,从2009年开始建设北京科技成果产业化情报系统,以“大数据”为基础,提供数据统一检索和信息关联挖掘服务,为北京市科委的业务工作发挥了一定的支撑作用。此次研讨会旨在为业界提供沟通和交流的平台,共同促进国内科技信息服务方面的发展和提高。
2012大数据时代科技信息资源创新服务研讨会上,既有理论探讨又有实际交流,与会代表就自身感兴趣的主题畅所欲言,无论是理论上的思考,还是实践中的经验,对于促进科技创新的发展,完善科技产业发展环境,都具有重要价值。
大数据时代来临
你准备好了吗?
“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,
所有领域都将开始这种进程。”——哈佛大学社会学教授加里·金
大数据会不会造成新的“数据鸿沟”?
大数据体现出三大特征
回顾历史,30年前我国大学里还没有一个计算机系,而30年后的现在每个像样的大学都有计算机系;现在大学里还没有任何一个数据科学系,而30年以后所有学校都会有。
我认为,大家所说的大数据并非横空出世的海量数据,大数据有很多因素支撑着它。主要体现在以下几个方面:
一是超大数量,数量之大超越常规管理和处理;二是超高增速,过去2年的数据超过以往所有历史数据;三是成长中的大数据分析产业。比如,一家以大数据分析为口号的IT搜索引擎公司Splunk 2012年4月19日在Nasdaq首日上市IPO即上涨109%,翻了一倍多,与2011年5月LinkedIn创造的网络公司IPO业绩最高记录持平。
另外,大数据还体现出新的特征,也就是“三V特征”:Volume(数量、Variety(多样化、Velocity(增速。
具体来说,数量方面,据估计,目前世界数据总量已经达到zettabytes (1021 bytes的数量级, 大企业的数据量已经达到petabytes (1015 bytes数量级。多样化表现在两个方面,一是世界上已有数据的80%是非结构化的,二是数据间的互相作用使得其关联性更加复杂。增速方面,以2010年为例,每分钟35小时录象上传Youtube、每月60亿张照片上传Facebook、每天2亿Tweets上传Twitter、每天3000亿件电子邮件发送。由此可见,大数据发展的前景是一种新的“知识基础设施”正在形成,一个大数据的新时代正在到来,其对商业、政府、民主和文化的影响将是巨大的。
大数据背后的核心是人,那就是数据科学家。数据科学家应具备三大核心技能,一是具备数学知识为数据集构模,二是具备工程技能建成数据模型分析系统,三是发现见解,从数据中讲出故事来。目前,数据人才面临的最大问题是数据人才的挑战。2011年6月麦肯锡报告称,到2018美国将短缺14万~19万具有高级技能的数据分析家,还需增加150万能提出正确问题和利用分析结果的管理者和分析师。
对于大数据会不会造成新的鸿沟的问题?我的观点是肯定的,我认为,能不能利用大数据将造成新的“数据鸿沟”、大数据利用能力将成为这种差距的放大器。
两大关键词解读美国大数据计划
2012年3月29日美国政府发布大数据研发倡议(Big Data R&D Initiative,涉及政府六大部门。如何解读美国大数据国家战略,我认为要从两个关键词进行解读。美国政府大数据研发倡议为什么值得关注?如果说,以往大数据还只是ICT领域的重大发展趋势的话,那么这个倡议的出场,赋予大数据以国家战略的重要意义。不仅是以往我们认识到的经济、技术、城市发展和产业意义,还可能影响国家的军事战略,我们单位的研究小组跟踪大数据有一两年,对大数据的快速增长还没有足够的预料。
我自己是从两个关键词来看这个大数据研发倡议的国家战略意义的。
一是“initiative”(通常译为“倡
缪其浩上海科学技术情报研究所研究员
议”,查了维基百科,“倡议”确是
其本意,即政府提出一个想法,比如对
宪法提出一个修正案,接下去要全民公
决(referendum,当然真正通过十分困
难,但是在有些情况下initiative就是一个
政府计划,最近常常听到的有“开放政
府倡议”(在这类情况下可能应该译为
“计划”。我记得当年里根政府的星
球大战计划,原文就是Strategic Defense
Initiatives,那可是个庞然大物。所以说
initiative可大可小。这次的大数据研发倡议
直接的资金不多,才2亿美元,但是涉及6
大联邦部门,而中间两个与国防有关:国
防部和国防高级研究计划局,所以不可忽
视。当然目前不必过度反应,当年曾经有
“星球大战计划引诱苏联政府投入巨大资
源开展军备竞赛,以致促使其加速解体”
一说,尽管可能是无稽之谈(苏联垮台的根本原因在于内部,但是当时无论苏联
还是中国确实将这个探索性的计划看得过
重确是事实。但是这个大数据计划可能造
就一场军事战略的革命,作为一个大国肯
定是忽略不得,更是输不起的。
其二是“deal”。奥巴马宣布这个计
划的当天,白宫网站发表美国科技政策办
公室负责政策的副主任Tom Kalil 的文章,
标题为“big data is a big deal”,这个deal
当然是交易、买卖的意思,但是如果要翻
译的话我建议译为“大数据是个大政”。
“大政”这个说法是不是重了点?我的依
据是,当年罗斯福的“新政”,原文就是
“New Deal”。他们经常喜欢用些貌似
“低俗”的说法来称呼重大的事情,在美
国这就是政治。
大数据促进科技成果转化
大数据助推北京创新发展
蔚晓川 北京市科学技术情报研究所康大臣 中国科学院科技政策与管理科学研究所副研究员 2006年,全球“创建、收集和复制”的数字信息已达到1,610亿GB 。容量大约相当于把现有的书籍从地球到太阳来回堆12遍的全部容量 。而到2010年,全球“创建、收集和复制”的数字信息已经爆发式增长到了9880亿GB 。大数据来袭不是虚言。
由清华大学、复旦大学等20所高校完成的“大学科技成果转化的探索与实践”研究报告指出,我国大学的科技成果转化率不足10%。低水平的科技成果转化能力,造成了科技资源的巨大浪费。
目前,世界上包括来自传感器、交易记录、图像、视频、社交媒体、日志和其他来源的各种数据量正在以近乎难以理解的速度在增加。如果你没有工具来管理和执行这些大数据,并分析出其中的有效信息,这些本质上就是不断增长的垃圾。
现在,人们多是把大数据当成一个客观现实或者扑面而来的潮流,而没有看到这更应该是人们的一种主观欲求和战略管理的历史性需求。
2012年,美国已经制定了“大数据研发计划”,而中国目前还没有大数据计划。在这种背景下,北京应该发挥带头和引领作用。在城市层面,如何研究和制定北京的大
目前,北京科技成果产业化工作面临以下主要问题:一是有效的科技成果信息获取不便,二是相关科技成果信息关联度不高,三是科技成果供需双方互动渠道不畅,四是科技成果信息宏观分析的及时性有待提高。
为了有效解决科技成果转化不足的问题,在北京市科委的推动下,北京科技成果情报服务体系,通过网络结构,将分散的科技成果情报利用政府推动力有机组合起来。这就是北京科技成果情报系统——科技立方。
数据计划,就更是一个充满挑战性的工作,当然也是十分有趣或有意义的工作。
北京要建设国家创新中心,以及培育战略性新兴产业,尤其是科技成果的转化和产业化,都特别需要大数据和大数据处理。北京要研究和创制一种使用某种分析方法的“基础架构”,能够让“大数据”更好地使北京率先做到:从经济社会发展需求中找准科技创新主攻方向,又要把科技成果迅速转化为现实生产力。北京亟需开发城市和大区一级的大数据管理体系架构。科技北京或具有中国特色的世界城市的建设,应该把眼光放到这个问题上。
在这种大背景下,面对扑面而来的大数
该系统涵盖了来自权威部门的上亿条科技数据,包括全国各地区、各行业经省、市、部委登记认定的科技成果,中外专利,期刊论文、中外标准、法律法规等科技文献,以及规模企业、对外贸易等国家统计数据,是国内数据资源汇聚程度最高的平台之一。
这样在政府的支持下,充分发挥科技信息服务机构的优势,结合需求加工分析科技信息,为政府提供科技信息服务,促进科技成果转化。
据潮流,北京应如何制定具有北京特色的《大数据计划》?我认为应注意以下几点。
一是将大数据用来考虑科技研发与成果转化,再用最先进技术来落实最先进的思想和理念。
二是北京建设国家创新中心,也需要这么走。目前只是欠缺思路或顶层设计。
三是北京已经实施“祥云”计划,但主要是基础建设,有多种朝向,并未重点朝向或研究解决科技的新式研发与成果转化问题。数据本身是资产,这是大家目前达成的共识。云计算为数据资产提供了保管、访问的场所和渠道。如何盘活数据资
产?使其为国家治理、城市功能升级和企
沈固朝 业决策乃至个人生活服务?这是大数据的核心议题,也是云计算内在的灵魂和必然的升级方向。
众所周知,北京正在实施“祥云计划”,到2015年,形成2000亿元产业规模,建成亚洲最大超云服务器生产基地;上海正在实施“云海计划”,到2012年,培育10家年销售额超亿元的云计算企业,带动信息服务业新增经营收入1000亿元,打造“亚太云计算中心”;重庆,正在实施“云端计划”,到2015年,建成云集上百万台服务器、上千亿元规模的“云计算”基地,成为全球数据开发和处理中心;广州正在实施“天云计划”,到2015年,云计算应用水平将达到国内领先水平,构建世界级的云计算产业基地。但却样讲,并不是赶时髦,而是因为云计划固然与大数据存在密切联系,甚至我们所说的大数据处理本身就应该是在云端进行的,但云计划却代替不了大数据计划。
云计划主要是基地建设和设备集聚、要素堆积的工业经济概念,相对于提高城市创新发展能力的大数据计划来说,云计划主要可以被看作是一个基础设施甚至硬件条件,至于一个城市如何根据其经济社会发展规划和在区域乃至国家和世界中的战略定位,来提供城市的整体功能水平,使城市智能化,还是云工程性计划中所不能覆盖的。另外,云计划也主要是一个IT 范畴的工作,而且是一个工程概念。
相对来讲,大数据计划就可能要丰富、立体和复杂得多。北京建设自主创新以世界一流的数据抓取、管理与处理或分析加工能力为基础和主要朝向的。这个抓取和处理能力所涉及的必然是世界范围。
四是“大数据”作为一个较新的概念,目前尚未直接以专有名词被我国政府提出来给予政策支持。北京应该奋勇争先,一定要在建设国家创新中心、建设自主创新示范区的战略进程中,把大数据的科学研究和工程计划制定出来并快速予以实施。因此,大数据计划应该被补充到科技北京建设的规划和行动计划之中。
五是中国特色的世界城市,也一定是具有时代特色或充分反映时代精神的世界城市。可以说,对大数据时代精神的充分理解与把握,对于谋划中国特色,同时也最能体现时代特色的世界城市北京建设, “大数据”发展趋势中所增加的大部分数据都是在自然环境下产生的,比如说网络言论、图片和视频等不受控制的东西,以及来自于传感器的数据等。这些以每年50%的速度增长的所谓“非结构化数据”,通常不能为传统的数据库所用。大数据提供了更多的原材料,要让数据为企业竞争服务,我们作好了管理和处理大数据的准备了吗?
我们思考的数据量不管目前是TB 级,还是不久会在PB 级、甚至将来的EB 级,搜索和处理量在万亿记录的“超数据”(Exadata 规模上运行,数据必须要成为信息情报才能为我们所用。
因此,迎接大数据的挑战,不仅仅是硬件的准备,处理和分析软件尤为重要情报分析系统要BI 定量分析与竞争情报专题分析相结合,体现人机协作的关系。
从本质上来说,“数据”、“信息”、“情报”这三者是有本质的区别的。数据是指未经信息加工处理统计数字、消息、传言、观察到的现象,等等。数据具有原始性、不成熟性、不完整性、非结构等特点。信息是指经过提炼、加工和集成的数据,是经过一定处理流程后的产物,是大脑思维活动把客观事物运动和主观思维活动的状态描绘出来的结果。而情报是信息和智慧融合在一起并成为一项决策的依据。
数据与情报分析的关系是将大量原始、初级、杂乱无章的“数据”,转化为清晰地表达出一定含义的“信息”,继而从中按照企业竞争需要提取出有价值的“情报”并应用于企业竞争实践的过程。否则,不仅难以搭乘大数据这辆车,还会在情报分析的“稻草堆里捞针”时,“将
稻草也看成是针”。
迎接大数据的挑战,不仅仅是硬件的准备,处理和分析软件尤为重要。具体来讲: 一是情报分析系统要将BI 定量分析与竞争情报专题分析相结合,体现人机协作的关系;二是从互联网采集数据信息,或将其他数据系统中数据转化为比较分析结果、趋势预测、因素分析和关联规则等;三是构建由不同分析模板组成的通用、特定分析模板;四是建立分布式的多媒体数据库、模型库、情报知识库,具有先进的知识表达能力,拥有智能化的人机交互环境,能集成众多领域专家的知识、经验;五是有数据关系抽取和敏感信息预警功能,能够通过文本挖掘技术自动抽取数据之间的关系,并提供有多种可视化模板以支持数据之间关系的可视化显示。潮
