非结构化信息 指信息的形式相对不固定,常常是各种格式的文件。它是相对结构化信息而言的,从宏观上看也是结构化信息的一种形式。诸如电子文档、电子邮件、网页、视频文件、多媒体等。
对于来源繁多的信息资料,专业人士根据信息的格式加以划分,将其分为结构化信息和非结构化信息两大类。
结构化信息是可以数字化的数据信息,可以方便地通过计算机和数据库技术进行管理。无法完全数字化的信息称为非结构化信息,如文档文件、图片、图纸资料 、缩微胶片等。这些资源中拥有大量的有价值的信息。这类非结构化信息正以成倍的速度增长。
另一种定义:
结构化信息,我们通常接触的数据库所管理的信息,包括生产、业务、交易、客户信息等方面的记录。
非结构化信息,专业术语为内容,所涵盖的信息更为广泛,可分为:营运内容(operationalcontent):如合约、发票、书信与采购记录;部门内容(workgroupcontent):如文书处理、电子表格、简报档案与电子邮件;Web内容:如HTML与XML等格式的信息;多媒体内容(Rich MediaContent):如声音、影片、图形等。
90%的信息和知识在“结构化”世界之外,IT应用中还存在着一个“非结构化”的世界。对大多数企业来说,ERP等业务系统所管理的结构化数据只占到企业全部信息和知识的10%左右,其他的90%都是数据库难以存取到的非结构化信息和知识。来自IDC的分析显示,虽然很多企业投资不菲建立了诸多业务支撑系统,但仍有72%的管理者认为知识没有在他们的组织得到重复利用,88%的人认为他们没有接触到企业最佳实践的机会。Gartner也曾预言,对非结构化信息和知识的管理将会带来一个新IT应用潮流。
非结构化信息处理类似于上世纪70年代以前的结构化信息应用。割裂、无法进行数据互操作的应用是其主流。以人们最常用的文档软件来看,DOC文档是MSWORD与WPS的专用格式,永中、中文2000等OFFICE产品厂商则各有各的“自留地”。这种情况下,由于文档格式的束缚而使信息四分五裂,信息流无法通畅流转,信息处理更加困难,信息资源因为“信息流的不通畅”而丧失了其应有的巨大价值。
从非结构化到半结构化,从半结构化到结构化,从结构化到关联数据体系,从关联数据体系到数据挖掘,从数据挖掘到故事化呈现,从故事化呈现到决策导向。
互连网上出现的海量信息,大概分为结构化、半结构化和非结构化三种。结构化信息如电子商务信息,信息的性质和量值的出现的位置是固定的;半结构化的信息如专业网站上的细分频道,其标题和正文的语法相当规范,关键词的范围相当局限;非结构化的信息如BLOG和BBS,所有内容都是不可预知的。
结构化信息和非结构化信息是IT应用的两个世界,它们有着各自不同的应用进化特点和规律。但是,这两个世界之间还缺少相互连接的桥梁,而这种缺失使企业中不可避免地存在“活动”、“信息和知识”的分离,其后果就是:虽然它们都在进行着“知识化”的努力,但两个世界分离的IT应用模式,注定使其难以真正实现它们的初衷——“在最合适的时间,将最合适的信息传送给最合适的人”。
相比于交易型数据,非结构化数据(Unstructured Data)的增长速度要快很多。整理、组织并分析非结构化数据,能够为企业带来更多的竞争优势。每一个数据元素都有它的意义,尽管有些是和你不那么相关的。在本文中,我就将解释一些常见的非结构化数据问题。
非结构化数据包括以下几个类型:
文本:在掌握了元数据结构时,机器生成的数据,如传感器等就一定能够进行解译。当然,流数据中有一些字段需要更加高级的分析和发掘功能。
交互数据:这里指的是社交网络中的数据,大量的业务价值隐藏其中。人们表达对人、产品的看法和观点,并以文本字段的方式存储。为了自动分析这部分数据,我们需要借助实体识别以及语义分析等技术。你需要将文本数据以实体集合的形式展现,并结合其中的关系属性。
图像:图像识别算法已经逐渐成为了主流。此外,这些技术也会产生实体,尽管获取关系以及舆情分析更加具有挑战性。
音频:目前有许多研究是针对于解译音频流数据的内容,并能够判断说话者的情绪。然后在利用文本分析技术对这部分数据进行分析。
视频:毫无疑问,视频是最具挑战性的数据类型。图像识别技术可以对每一帧图像进行抽取,当然,要真正做到对视频内容进行分析还需要技术的进一步发展。而视频中又包括音频,可以用上述的技术进行解译。
根据上述内容,我们需要一些新的数据处理与分析功能,来获得这些数据类型的价值,下面就是其中一部分技术:
动态元数据发现:该技术主要针对文本数据,它能够动态地将元数据从结果集中抽取出来,比如新的REST结束点。在持续基础上维护和控制元数据。在运行时间,从大量可用选项中,选择适当的最佳匹配的元数据集。
分类设置:你需要能够针对其他分析层捕获并表现你的业务及其实体,以对输入的数据进行注释和参考。由于业务元素的加入,这一分类将变得更加普遍。
实体提取和语义分析:它能够将分类利用到任何数据流当中,并将数据流中表达的实体和关系进行提取。这种分析可以存储在一个关系型数据库当中,也可以以图表的形式进行存储。
多媒体识别技术:如上述所言,进行非结构化数据分析,我们就需要各种解译图片、音频视频的技术。
其层级如下所示: