基于KNN的話(huà)題跟蹤研究_李樹(shù)平
1 引言 在話(huà)題檢測(cè)與跟蹤研究中,話(huà)題跟蹤是它的一個(gè)子任務(wù),被 定義為在給定同一個(gè)話(huà)題的幾篇新聞報(bào)道的前提下檢測(cè)出該 話(huà)題的后繼新聞報(bào)道。從定義可以看出,話(huà)題跟蹤研究在本質(zhì)上 等價(jià)于一種受監(jiān)督的分類(lèi)研究, 它的關(guān)鍵技術(shù)就是文本分類(lèi)算 法,難點(diǎn)在于話(huà)題/報(bào)道表示模型。文本分類(lèi)算法一般包括 KNN 算法,Rocchio 算法,支持向量機(jī)(SVM),簡(jiǎn)單貝葉斯算法和決策樹(shù) 算法,其中最常用的是 KNN 算法。它也是目前分類(lèi)效果最好且 應(yīng)用最廣泛的文本分類(lèi)算法。 2 基于 KNN 的話(huà)題跟蹤系統(tǒng) 基于 KNN 的話(huà)題跟蹤系統(tǒng)由話(huà)題/報(bào)道表示模型,KNN 文 本分類(lèi)方法和話(huà)題檢測(cè)與跟蹤評(píng)測(cè)方法三個(gè)模塊組成。 2.1 基于向量空間模型的話(huà)題/報(bào)道表示模型 話(huà)題/報(bào)道表示模型一般采用文本表示方法實(shí)現(xiàn),向量空間 模型由 Salton 教授于 1968 年提出的,是最簡(jiǎn)便而又高效的文本 表示方法之一,在海量文本信息處理方面具有非常強(qiáng)的優(yōu)勢(shì)。因 此,本文采用向量空間模型實(shí)現(xiàn)話(huà)題/報(bào)道表示模型。在向量空 間模型實(shí)現(xiàn)話(huà)題/報(bào)道表示模型時(shí),存在高維特征空間問(wèn)題,這個(gè) 問(wèn)題可以通過(guò)特征選擇算法解決。