文本聚類算法研究

1、文本聚類算法研究    文本聚類算法研究摘要本文對(duì)文本聚類做了比較詳盡的分析，包括文本聚類的概念和總體介紹，聚類模型，聚類算法以及相關(guān)技術(shù)等等。文本自動(dòng)聚類系統(tǒng)是信息處理的重要研究方向，它是指在給定的聚類體系下，根據(jù)文本的內(nèi)容自動(dòng)劃分文本類別的過程。文中重點(diǎn)分析和比較了各種基于不同聚類模型的聚類算法的優(yōu)劣，對(duì)其中一部分算法通過程序加以實(shí)現(xiàn)，得到了實(shí)驗(yàn)結(jié)果。通過實(shí)驗(yàn)結(jié)果可以直觀地看出算法的性能。其中重點(diǎn)實(shí)現(xiàn)的是基于向量空間模型的層次聚類算法。該算法是當(dāng)今國內(nèi)外文本聚類領(lǐng)域比較流行的算法之一，性能優(yōu)良，有很高的準(zhǔn)確率和召回率。在我對(duì)特定文檔集進(jìn)行的聚類實(shí)驗(yàn)中

2、，這種方法得出的結(jié)果是最滿意的。本文共分七章：第一章是緒論，介紹文本聚類的概念，用途，流程并簡單介紹了一下文本分類。第二章是分析了幾種現(xiàn)有的文本聚類模型和算法，從多角度比較它們的優(yōu)缺點(diǎn)。第三章介紹了中文文本聚類中的主要問題和關(guān)鍵技術(shù)。第四章簡述了Smart系統(tǒng)的功能和使用方法。第五章詳細(xì)說明了文本聚類程序的結(jié)構(gòu)，主要算法的實(shí)現(xiàn)，和編制文本聚類器的步驟。第六章給出了對(duì)我的畢設(shè)程序進(jìn)行性能評(píng)估的數(shù)據(jù)。第七章是對(duì)全文的總結(jié)和對(duì)未來的展望。關(guān)鍵詞：文本聚類，文本分類，向量空間，相似度, 精確度，召回率，層次凝聚算法 Abstract The thesis analyzes text clusterin

3、g in detail, including the definition and general introduction of the text clustering,the model,algorithm and relevant technologies of text clustering,etc.Automatic text clustering is the main researching direction of the Information Procession,it is the process of automatically deviding many texts

4、into different classes with a given clustering method.In the thesis we analyzed and compared kinds of clustering models and algorithms,carried out part of them and got some experimental result.We can see the performance of the algorithms directly from the result.And in this thesis we mainly implemen

5、ted the level-agglomerative algorithm based on the vector space model.This algorithm is one of the most popular algorithms in the field of text clustering nowadays.It has good capability,high precision and recall.In my experiment on given document sets,this algorithm has the most satisfactory result

6、. The thesis is devided into 7 chapters: Chapter1 is the introduction. It introduces the definition,usage,and process of text clustering,and briefly introduced text classification. Chapter2 analyzes some existing models and algorithms of text clustering,compared them with each other from so many asp

7、ects. Chapter3 introduces the main problems and key technologies in text clustering. Chapter4 shows the function and usage of the Smart system. Chapter5 shows the structure of the text clustering program, the implementation of the main algorithms, and the steps to write a text clustering program. Ch

8、apter6 presents some experimental results, and evaluates several text clustering algorithms. Chapter7 is the conclusion and the future work. Key-words: text clustering, text classification, vector space, similarity, precision, recall, level-agglomerative clustering algorithm 目錄摘要1 Abstract.2 第一章 緒論.

9、5 11文本聚類概述5 12文本聚類工作流程6 13文本分類概述7 第二章 現(xiàn)有的數(shù)據(jù)聚類模型和算法10 21基于密度的聚類算法.10 22基于向量空間的聚類算法.13 23基于統(tǒng)計(jì)語言的聚類模型.16 231信息熵16 232統(tǒng)計(jì)語言模型17 233條件聚類模型18 本章小結(jié).20 第三章 中文文本聚類中的基本問題.21 31中文分詞概述.21 32特征詞抽取.22 33文本的表示.24 本章小結(jié).25 第四章 SMART系統(tǒng)概述26 41SMART系統(tǒng)簡介.26 42 SMART系統(tǒng)中的信息檢索.28 43SMART系統(tǒng)的搭建步驟.30 44SMART系統(tǒng)的評(píng)價(jià).31 本章小結(jié).33 第五章 文本聚類程序的實(shí)現(xiàn).34 51問題定義34 52程序的基本功能和總體結(jié)構(gòu)34 53程序中數(shù)據(jù)結(jié)構(gòu)的定義35 54程序中主要算法的實(shí)現(xiàn)37 541相關(guān)文件操作.3