大數(shù)據(jù)技術(shù)體系中的語(yǔ)義分析

本文介紹了語(yǔ)義的相關(guān)概念、特征，指出語(yǔ)義分析技術(shù)在大數(shù)據(jù)挖掘中的重要性，并給出了示例。

一、什么是語(yǔ)義

在現(xiàn)實(shí)世界中，事物所代表的概念的含義，以及它與其他概念之間的關(guān)系，可以被認(rèn)為是語(yǔ)義。

語(yǔ)義是對(duì)符號(hào)的解釋，比如“蘋(píng)果是一種水果，含有豐富的礦物質(zhì)和維生素?！本徒忉屃恕疤O(píng)果”這個(gè)字符串（符號(hào)、概念），“《互聯(lián)網(wǎng)大數(shù)據(jù)處理技術(shù)與應(yīng)用》是國(guó)內(nèi)第一本系統(tǒng)講述互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)的專著，由曾劍平編著，于2017年由清華大學(xué)出版社出版”則描述了《互聯(lián)網(wǎng)大數(shù)據(jù)處理技術(shù)與應(yīng)用》這本書(shū)（概念）的含義。

語(yǔ)義的典型特征包括：語(yǔ)義的客觀性和主觀性、語(yǔ)義的清晰性和模糊性、以及語(yǔ)義的領(lǐng)域性等。其中，模糊性主要體現(xiàn)在語(yǔ)義邊界上，例如“胖”所具有的語(yǔ)義是一個(gè)模糊概念，邊界并不清晰，用簡(jiǎn)單的判斷邏輯是無(wú)法定義的。領(lǐng)域性是指對(duì)于一些詞語(yǔ)含義的理解，需要在某個(gè)具體的領(lǐng)域中才有確定的結(jié)果，可能存在同一事物在不同領(lǐng)域中有不同理解的情況。例如“蘋(píng)果”在水果食品領(lǐng)域和手機(jī)通信領(lǐng)域就具有不同的含義。

二、大數(shù)據(jù)中的語(yǔ)義分析

大數(shù)據(jù)4V特征中的一個(gè)典型特征是Variety，它有多方面的含義，其中最主要的是指數(shù)據(jù)類型的多樣化。在表示一本圖書(shū)時(shí)，可以有數(shù)值型、日期型、文本型等多種形式。

在“大數(shù)據(jù)價(jià)值挖掘的難點(diǎn)和重點(diǎn)：非結(jié)構(gòu)化數(shù)據(jù)處理”一文中我們介紹了結(jié)構(gòu)化數(shù)據(jù)的表示方法，如下表示了兩本書(shū)B(niǎo)1、B2：

B1: （互聯(lián)網(wǎng)大數(shù)據(jù)處理技術(shù)與應(yīng)用，曾劍平，清華大學(xué)出版社，2017，大數(shù)據(jù)類）

B2: （數(shù)學(xué)之美，吳軍、人民郵電出版社，2014，數(shù)學(xué)類）

在圖書(shū)推薦之類的大數(shù)據(jù)應(yīng)用中，要決定把什么書(shū)推薦給客戶，其中最基本的問(wèn)題是計(jì)算兩本書(shū)的相似度。就B1、B2這兩本書(shū)來(lái)說(shuō)，出版年份2017和2014之間的相似度就比較容易計(jì)算，但是“大數(shù)據(jù)類”和“數(shù)學(xué)類”簡(jiǎn)單依靠字符串就無(wú)法準(zhǔn)確計(jì)算了，“互聯(lián)網(wǎng)大數(shù)據(jù)處理技術(shù)與應(yīng)用”和“數(shù)學(xué)之美”等文本型的就更難定了。而這些問(wèn)題在大數(shù)據(jù)分析及應(yīng)用中是非常普遍的，因此，語(yǔ)義分析計(jì)算對(duì)于大數(shù)據(jù)分析應(yīng)用而言其重要性是不言而喻的，直接影響到最終的大數(shù)據(jù)價(jià)值體現(xiàn)。

由于詞匯作為字符串所能提供的信息量非常少，在詞匯級(jí)別上進(jìn)行語(yǔ)義分析，通常需要借助一定的語(yǔ)義知識(shí)庫(kù)或語(yǔ)料庫(kù)，這種知識(shí)庫(kù)可以采用如圖所示的語(yǔ)義結(jié)構(gòu)，該結(jié)構(gòu)是基于Wiki百科提取得到的。

基于該結(jié)構(gòu)，計(jì)算“數(shù)學(xué)”和“大數(shù)據(jù)”之間的語(yǔ)義相關(guān)度可以采用基于語(yǔ)義圖結(jié)構(gòu)的最短路徑法、基于概念結(jié)點(diǎn)信息量的計(jì)算方法等，具體可以計(jì)算方法參考文獻(xiàn)[1]。

由于詞匯在關(guān)系型數(shù)據(jù)表達(dá)中也是非常常見(jiàn)的基本信息，因此，語(yǔ)義分析問(wèn)題在結(jié)構(gòu)化大數(shù)據(jù)中同樣很重要。比如城市字段中存儲(chǔ)的“北京”、“上?！薄皬B門”等，如何計(jì)算它們之間的相關(guān)度，在涉及地區(qū)的大數(shù)據(jù)挖掘等應(yīng)用中是一項(xiàng)基本要求。除了采用各種方法構(gòu)建的語(yǔ)義結(jié)構(gòu)圖外，基于word2vec的訓(xùn)練計(jì)算方法也是不錯(cuò)的選擇。

相比于詞匯的語(yǔ)義，句子級(jí)別的語(yǔ)義分析技術(shù)在大數(shù)據(jù)分析挖掘中就更為常見(jiàn)。典型的應(yīng)用場(chǎng)景包括在新聞報(bào)道的文本中尋找事件的組成要素及其關(guān)系，在評(píng)論文本中識(shí)別評(píng)論信息，例如“手機(jī)的屏幕很大”這句話中“手機(jī)”和“屏幕”、“大”和“很”都是一種修飾關(guān)系，“屏幕”和“大”則是一種陳述關(guān)系。漢語(yǔ)中的實(shí)詞在進(jìn)入句子后，詞與詞之間有多少種語(yǔ)義關(guān)系以及各種語(yǔ)義關(guān)系的名稱，目前漢語(yǔ)語(yǔ)法學(xué)界還沒(méi)有統(tǒng)一的說(shuō)法。但是目前經(jīng)常提到的主要語(yǔ)義關(guān)系有施事、受事、與事、工具、結(jié)果、方位、時(shí)間、目的、方式、原因、同事、材料、數(shù)量、基準(zhǔn)、范圍、條件、領(lǐng)屬等。正是由于語(yǔ)義關(guān)系的多樣性，也使得語(yǔ)義分析研究任務(wù)豐富多彩。但是由于計(jì)算機(jī)處理和推理能力的限制，目前，在該領(lǐng)域研究中只針對(duì)很少部分的語(yǔ)義關(guān)系分析。