科普文章
科普文章
 
科普文章

当前,全球大数据技术演进和应用创新快速发展,产业日趋活跃,世界各国政府也逐渐认识到大数据在推动经济发展、改善公共服务、保障国家信息安全等方面的重大意义,大数据战略地位突显。作为国家和社会的主要管理者,各国政府也是大数据技术推广的主要推动者。2011年,美国“总统科学技术顾问委员会”建议认为“大数据相关技术具有重要战略价值,而联邦政府对其研发投资不足”,白宫科技政策办公室发布了《大数据研究和发展倡议》,协助加速科学、工程领域的创新步伐,强化美国国土安全,转变教育和学习模式;20123月,美国白宫宣布启动大数据研究和开发。20127月,日本提出以电子政府、电子医疗、防灾等为中心制定新ICT(信息通讯技术)战略,发布“新ICT计划”,重点关注大数据研究和应用;20131,英国政府宣布将在对地观测、医疗卫生等大数据和节能计算技术方面投资1.89亿英镑。目前,大数据已成为继云计算之后信息技术领域的另一个信息产业增长点。据Gartner预测:2016 年全球在大数据方面的总花费将达到2320亿美元。Gartner 2016将大数据技术列入对众多公司和组织机构具有战略意义的十大技术与趋势之一,同时认为智慧机器技术(Smart Machine Technologies)由于在大规模数据集上的强大计算能力和扩展性,将成为未来10年最具创新性的技术。智慧机器技术的核心技术包括机器学习、虚拟个人助理、智慧数据发现、自然语言问答、个性化分析等。这些技术正是大数据研究中的重要技术和应用方向。

在我国,2012年中国通信学会、中国计算机学会等重要学术组织先后成立了大数据专家委员会,为中国大数据应用和发展提供学术咨询。国务院在2015831日印发了《促进大数据发展行动纲要》。纲要明确指出了大数据的重要意义。大数据已成为推动经济转型发展的新动力、重塑国家竞争优势的新机遇、提升政府治理能力的新途径。纲要还清晰地提出了大数据发展的主要任务,如加快政府数据开放共享,推动资源整合,提升治理能力;推动产业创新发展,培育新兴业态,助力经济转型;强化安全保障,提高管理水平,促进健康发展。纲要还提出了组织、法规、市场、标准、财政、人才、国际交流等方面的政策机制要求。今年年初,十三五规划纲要发布,纲要中指出,实施国家大数据战略。把大数据作为基础性战略资源,全面实施促进大数据发展行动,加快推动数据资源共享开放和开发应用,助力产业转型升级和社会治理创新。20167月,国务院发布“十三五”国家科技创新规划中指出要突破大数据共性关键技术,建成全国范围内数据开放共享的标准体系和交换平台,形成面向典型应用的共识性应用模式和技术方案,形成具有全球竞争优势的大数据产业集群。规划在国家科技重大专项、科技创新2030-重大项目、以及新一代信息技术、先进制造技术、新材料技术、先进高效生物技术、现代食品制造技术、生态环保技术、人口健康技术、新型城镇化技术、空天探测、开发和利用技术、科技资源共享服务等11项技术体系中均涉及大数据技术。

2016年,大数据解决方案不断成熟,各领域大数据应用全面展开,为大数据发展带来强劲动力。无论是商业、医学、政治等领域,通过大数据的分析,都在不停地为社会创造价值。根据中国信息产业研究院的数据显示,2015 年中国大数据市场规模为 102亿元,同比增长 34%;预计未来几年,随着应用效果的逐步显现,中国大数据市场规模还将维持40%左右的高增长。 

大数据(Big Data)一词,经常被用以描述和定义信息爆炸时代产生的海量信息。我们认为研究大数据的意义在于发现和理解信息内容及信息与信息之间的联系。研究大数据首先要理清和了解大数据的特点及基本概念,进而理解和认识大数据。

大数据的核心和本质是应用、算法、数据和平台四个要素的有机结合。大数据是应用驱动的,大数据来源于实践,海量数据产生于实际应用中。数据挖掘源于实践中的实际应用需求,用具体的应用数据作为驱动,以算法、工具和平台作为支撑,最终将发现的知识和信息用到实践中去,从而提供量化的、合理的、可行的,并且能够产生巨大价值的信息。另外,挖掘大数据所蕴含的有用信息,需要开发分析和解决问题的相关数据挖掘和机器学习算法。算法的设计和开发要以具体的应用数据为驱动,同时也要在实际问题中得到应用和验证,而算法的实现与应用需要高效的处理平台。高效的处理平台需要能有效地分析海量的数据及对多源数据进行集成,同时有力支持数据挖掘算法以及数据可视化的执行,并对数据分析的流程进行规范。总而言之,这个思想是对上述大数据的理解和认识的一个综合与凝练,体现了大数据的本质和核心。建立在此架构上的大数据挖掘,能够有效处理大数据的复杂特征,挖掘大数据的价值。