大数据的潜在价值是真实而巨大的,为了充分挖掘大数据的价值,必须解决一系列技术问题,这些问题包括数据采集、信息抽取和清理、数据集成、数据分析以及解释和部署[1].这些问题涉及数据获取、数据存储和管理、数据分析、数据可视化、应用服务、信息共享、数据安全和隐私保护、大规模并行计算、流计算、云计算等多层面的信息技术,需要计算机软、硬件的综合解决方案.
计算智能是人工智能发展的新阶段,是受到大自然智慧和人类智慧的启发而设计出的一类解决复杂问题方法的统称.与传统的人工智能相比,计算智能的最大特点是不需要建立问题本身的精确(数学或逻辑)模型,不依赖于知识表示,而是在观测数据上直接对输入信息进行处理.这一特点非常适合于解决大数据分析中那些由于难以建立有效的形式化模型而用传统技术难以解决,甚至无法解决的问题.近年来,计算智能理论与技术发展迅速,在图像处理、模式识别、知识获取、经济管理、生物医学、智能控制等许多领域都得到了广泛应用,取得了一系列令人鼓舞的研究成果.同时,大数据也给计算智能发展带来新的挑战与机遇.
在大数据环境下,人们生产和采集数据的能力日益增强,手段愈发丰富,这将导致数据在规模增大的同时,属性(维度)也随之增长.这样的高维数据会带来两个问题:首先,对于特定的应用而言,一般不需要关注数据的全部属性(维度),原始数据中包含的大量冗余信息和噪声反而会隐藏其中的有价值信息;其次,高维数据严重影响算法的性能,一些在低维特征空间中有效的算法,在超过30维的特征空间中将出现性能退化.
北京理工大学大数据搜索与挖掘实验室张华平主任研发的NLPIR大数据语义智能分析技术是满足大数据挖掘对语法、词法和语义的综合应用。NLPIR大数据语义智能分析平台是根据中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,并针对互联网内容处理的全技术链条的共享开发平台。
NLPIR大数据语义智能分析平台主要有精准采集、文档转化、新词发现、批量分词、语言统计、文本聚类、文本分类、摘要实体、智能过滤、情感分析、文档去重、全文检索、编码转换等十余项功能模块，平台提供了客户端工具，云服务与二次开发接口等多种产品使用形式。各个中间件API可以无缝地融合到客户的各类复杂应用系统之中，可兼容Windows，Linux， Android，Maemo5, FreeBSD等不同操作系统平台，可以供Java，Python，C，C#等各类开发语言使用。
数据挖掘技术本身就是当前数据技术发展的新领域，文本挖掘则发展历史更短。传统的信息检索技术对于海量数据的处理并不尽如人意，文本挖掘便日益重要起来，可见文本挖掘技术是从信息抽取以及相关技术领域中慢慢演化而成的。在信息管理领域，综合应用数据挖掘技术和人工智能技术，获取用户知识、文献知识等各类知识，将是实现知识检索和知识管理发展的必经之路。
