/ 中存储网

从大数据到认知计算

2016-02-15 22:26:29 来源:中存储

引言

随着信息技术的发展,三个趋势,即大数据和大数据分析引领行业转型,云计算推动信息技术转型,客户互动方式不断翻新,正在深刻改变着我们的世界,重塑科技、商业和社会活动。因此,如何发数据计算的新技术,建立基于洞察力的系统,获取大数据中蕴含的商业价值成为我们面临的巨大挑战。

大数据蕴含商业价值

大数据具有规模大、速度快、种类多、不确定性等特点。2012年全球每天产生约2.5艾字节的数据。传统数据多为结构化数据,而目前非结构化数据正在迅速增加,如在用户互动过程中产生的社交媒体和移动数据。随着物联网的普及和广泛应用,还会产生越来越多的物联网数据。

大数据的产生对传统行业带来了巨大冲击,也给新兴行业带来了机遇。以零售业为例,零售商通过大数据分析对商品供应链进行掌控,清晰地把握库存量、订单完成量、产品配送情况等,通过对数据深入的分析、建模,来预测和调节供求关系,完善供应链管理。又如,相对于传统能源,可再生能源具有取之不尽和清洁环保的优点,增长最快的风能、太阳能和生物质能对解决当今日益严重的环境污染和传统能源枯竭问题具有重要意义。但可再生能源过于依赖自然条件,稳定性较传统能源相差甚远,妨碍其推广普及和成本控制。我们对这个问题进行了多年研究。以风能为例,基于气象数据、设备运行数据和电网监测数据等组成的大数据系统,我们将物理模型与数据分析技术相结合,实现了精确的天气预报和实时风力预测,为风能提供了高精度的预测方案,大大提升了风能的可用性,推动了可再生能源行业的发展。

大数据分析需要云计算技术的支撑,而云计算正在推动信息技术的转型。大数据产生后,我们通过IT系统对数据进行实时处理和分析,挖掘复杂数据中蕴含的信息,发现和创造价值。传统企业广泛使用的IT系统可扩展性差,随着业务数据的迅速膨胀,未来业务的发展可能会遇到瓶颈。因此,许多企业重建IT基础架构,根据业务需求,利用云计算技术对软硬件资源进行灵活调配,实现按需访问,支持大数据实时运算,对内对外提供服务。在这一趋势下,越来越多的IT企业在提供产品和解决方案时,会选择基于云的方式。据统计,目前85%的新软件都是基于云开发的,到2016年全球将有1/4的应用程序通过云提供给用户。

在大数据时代,移动技术和社交媒体快速发展,人与人正在构建全新的互动方式。通过分析互动数据准确理解用户行为,可以为其带来非同凡响的互动体验。我们利用社交媒体数据对用户进行个性化分析,勾勒全方位的用户画像,描绘用户的个性和态度。在2014年世界杯比赛中,我们针对中国球迷在社交媒体上的互动数据进行舆情分析,了解球迷对不同球队的支持程度,利用分析中产生的洞察力进行互动,吸引了大量网友的关注和参与,创造了新的互动体验。大数据分析的最终目标是从数据中产生洞察力,支持决策,创造价值。例如,为了支持环境治理和能源转型,我们正在开展的“绿色地平线计划”,利用大数据分析、云计算、光学传感器和物联网技术,通过对空气监测站及气象卫星等实时数据进行分析和同化,结合空气质量模型和深度学习技术,建设高精度大气污染量化决策支持平台,最大限度地提升预报预警的精度和实效性,实现对大气污染防治的短期和长期措施效果的定量评估。

基于洞察力的系统

信息系统的核心价值在于从数据中产生洞察力。传统的信息系统是基于记录的系统(systemsofrecord),多数记录的是企业级数据,信息准确且结构化,保存在关系型数据库中。随着互动数据的增加,基于互动数据的系统(systemsofengagement)逐步建立,这类数据具有不确定性和非结构化等特点。我们需要将这两个系统真正融合,构建基于洞察力的系统(systemsofinsight)。例如,通过基于记录的系统,银行可以准确地获知每位客户的消费历史和消费习惯;而通过对客户在社交媒体上互动数据的分析,银行可以推测客户在未来的消费偏好。如果将二者结合,银行就有可能根据客户的历史消费行为来精准预测其未来的消费行为,从而进行更有效的个性化营销。

实现基于洞察力的系统受益于云计算技术的发展。云计算技术经历了不同的时期。其发展初期的主要目标是利用虚拟化技术大幅降低IT基础架构的运营成本,提高系统的可扩展性。随后许多基本开发构件和应用被植入云端,提供一个全新的开发平台,支持快速高效的开发。云计算正在推动各个行业IT架构的革命性变化,将产品和服务从云端提供给客户,满足其特定的业务需求。云计算发展需要不断应对各种挑战。例如受限于数据规模、敏感性、安全、移动成本等,有时无法将数据移到云端。我们正在探讨通过新的模式将计算移向数据,使企业充分享受云计算带来的实惠。基于洞察力的系统离不开物联网技术的支撑。物联网提供了一个基础架构,对物理世界进行感知、优化和管理,支持物理世界的决策。物理系统、设备和传感器作为新的数据来源,其数据规模远远超过传统企业数据。物联网技术应用十分广泛,遍及多个领域,其中对两类行业的影响最大,一类是资产密集行业,需要统一有效的资产管理与优化;另一类是互联设备密集的行业。物联网发展经历了不同阶段。在初始阶段,物联网主要强调感知和互联,通过互联网技术将大量设备连接起来收集数据。此后,物联网技术的重心转为建设基础架构,支撑云端的大数据分析。未来,物联网将更强调物理世界和IT架构的整合,及时处理数据,产生基于洞察力的可执行决策。

物联网的发展对技术提出了新的要求,例如大数据实时处理、良好的扩展性和持续可用性、基础架构的整体安全性等。基于云的服务能够更好满足以上要求,支持物联网数据分析。未来的发展方向是将物联网技术、云计算和行业解决方案结合,基于物联网技术开发行业解决方案,通过云端提供给客户。例如,通过车联网将车辆联接,实时收集车辆状况、行驶路线等信息;在云端实时分析,了解驾驶员的驾驶习惯,为驾驶员提供各种服务,为车辆保险公司科学定价提供依据。在医疗领域,通过物联网设备实时收集和监测慢性病患者的信息并加以分析管理,降低住院费用,及时干预疾病的发展,为患者提供个性化治疗方案。

认知计算

信息技术的发展经历了不同时期,在编程方面有许多重要的里程碑。例如,1957年开发的FORTRAN语言是世界上第一个高级程序设计语言。1964年诞生的第一台IBM大型主机System/360引发了计算机和商业领域的一场变革。

随着大数据时代的来临,数据的规模、速度、种类和复杂程度都超过了人脑的认知和处理能力,认知计算(cognitivecomputing)及其近年进展为大数据分析和理解提供新的技术支持与可能性。编程时代的机器依赖人预先写好的程序来处理信息,认知计算时代的系统更多的是从数据、推理和与人类自然语言交互过程中的自我学习。认知系统像人类的助手一样,帮助人们思考和工作,处理日益复杂的数据,具有辅助、理解、决策和发现等功能,帮助人们应对大数据时代的挑战,做出智慧决策。认知系统可以为人类提供百科全书式的信息支持,分析大量结构化和非结构化数据,处理数据中含义模糊不清的信息,通过与人的实时合作,使人们能有效利用广泛而深入的信息。认知系统在与人的互动中,基于信息进行的建模可帮助人们在纷繁复杂的信息中发现内在的关联和趋势。认知系统具有快速决策能力,帮助人们定量分析影响决策的各个因素,降低失误,保障决策的精准性。认知系统具有发现能力,将实现从“演绎”到“归纳”的突破,具备类似人脑的“认知”能力,帮助人们发现和识别数据中的新机遇和新价值。

认知计算技术在不断发展。2011年初,IBM开发的超级计算机沃森(Watson)在美国著名的智力问答竞赛节目《危险边缘》(Jeopardy)中与两位智力超群的选手交锋并击败了他们。沃森通过自然语言理解和推理,对问题进行深入的理解和分析,了解问题类型、焦点词汇以及词汇之间的语法关系;利用搜索技术进行大数据搜索,产生置信度较高的候选答案;在搜索过程中,沃森利用了大量知识库和推理技术,包括空间推理和时间推理等。在此之后,IBM积极开发具有认知能力的新一代系统,通过认知计算技术进一步提升人们对大数据的驾驭能力。设想一下,认知系统可以根据某个论点在几秒种之内搜索几百万篇文章,从中筛选出最相关的几篇,基于文章的内容,寻找支持和反对论点的论据,并将结果用自然语言组织和表现出来。认知系统使用的推理技术不再局限于专家预先定义的推理规则,而是主动从大数据中学习概念,并挖掘概念之间的关系。

为了使机器更好地模拟人类的思考,我们正在研究开发模拟人脑的SyNAPSE芯片。今天的SyNAPSE芯片使用了54亿个晶体管,晶体管的数量是传统PC处理器的4倍以上。传统的芯片擅长大量的符号运算和数字处理,类似于人的左脑;而SyNAPSE芯片的优势在于多感官和实时传感器数据处理,类似于人的右脑。此外,传统计算机芯片必须时刻处于工作状态,而SyNAPSE芯片可以按需工作,大大降低了能耗,其运行期间功率仅为70毫瓦,相当于用电池驱动的助听器的正常功耗。未来,二者将联接合作,更好地模拟人脑工作。

结语

在大数据时代,将信息技术的发展和行业解决方案相结合,才能从数据中产生洞察力,实现商业价值。IBM中国研究院正在积极探讨建立更加开放的创新机制,开展跨领域合作,与我们的合作伙伴携手创新,共创美好未来。

作者:

沈晓卫IBM中国研究院院长。主要研究方向为计算机系统结构、计算机软硬件协同设计、分布式计算、大数据、物联网与云计算的技术创新。

下载

从大数据到认知计算