轉(zhuǎn)載 很好的SOLR、LUCENE學(xué)習(xí)資料 LUC

1、轉(zhuǎn)載 很好的SOLR、LUCENE學(xué)習(xí)資料 LUC原文地址：很好的SOLR、LUCENE學(xué)習(xí)資料(LUCENE)作者：daysmileface1 lucene簡(jiǎn)介1.1什么是lucene Lucene是一個(gè)全文搜索框架，而不是應(yīng)用產(chǎn)品。因此它并不像或者google Desktop那么拿來(lái)就能用，它只是提供了一種工具讓你能實(shí)現(xiàn)這些產(chǎn)品。1.2 lucene能做什么要回答這個(gè)問(wèn)題，先要了解lucene的本質(zhì)。實(shí)際上lucene的功能很單一，說(shuō)到底，就是你給它若干個(gè)字符串，然后它為你提供一個(gè)全文搜索服務(wù)，告訴你你要搜索的關(guān)鍵詞出現(xiàn)在哪里。知道了這個(gè)本質(zhì)，你就可以發(fā)揮想象做任何符合這個(gè)條件的事情了。你

2、可以把站內(nèi)新聞都索引了，做個(gè)資料庫(kù)；你可以把一個(gè)數(shù)據(jù)庫(kù)表的若干個(gè)字段索引起來(lái)，那就不用再擔(dān)心因?yàn)?like%而鎖表了；你也可以寫(xiě)個(gè)自己的搜索引擎1.3你該不該選擇lucene下面給出一些測(cè)試數(shù)據(jù)，如果你覺(jué)得可以接受，那么可以選擇。測(cè)試一：250萬(wàn)記錄，300M左右文本，生成索引380M左右，800線程下平均處理時(shí)間300ms。測(cè)試二：37000記錄，索引數(shù)據(jù)庫(kù)中的兩個(gè)varchar字段，索引文件2.6M，800線程下平均處理時(shí)間1.5ms。2 lucene的工作方式lucene提供的服務(wù)實(shí)際包含兩部分：一入一出。所謂入是寫(xiě)入，即將你提供的源(本質(zhì)是字符串)寫(xiě)入索引或者將其從索引中刪除；所謂出是

3、讀出，即向用戶提供全文搜索服務(wù)，讓用戶可以通過(guò)關(guān)鍵詞定位源。2.1寫(xiě)入流程源字符串首先經(jīng)過(guò)analyzer處理，包括：分詞，分成一個(gè)個(gè)單詞；去除stopword(可選)。將源中需要的信息加入Document的各個(gè)Field中，并把需要索引的Field索引起來(lái)，把需要存儲(chǔ)的Field存儲(chǔ)起來(lái)。將索引寫(xiě)入存儲(chǔ)器，存儲(chǔ)器可以是內(nèi)存或磁盤(pán)。2.2讀出流程用戶提供搜索關(guān)鍵詞，經(jīng)過(guò)analyzer處理。對(duì)處理后的關(guān)鍵詞搜索索引找出對(duì)應(yīng)的Document。用戶根據(jù)需要從找到的Document中提取需要的Field。3一些需要知道的概念lucene用到一些概念，了解它們的含義，有利于下面的講解。3.1 ana

4、lyzer Analyzer是分析器，它的作用是把一個(gè)字符串按某種規(guī)則劃分成一個(gè)個(gè)詞語(yǔ)，并去除其中的無(wú)效詞語(yǔ)，這里說(shuō)的無(wú)效詞語(yǔ)是指英文中的of、the，中文中的的、地等詞語(yǔ)，這些詞語(yǔ)在文章中大量出現(xiàn)，但是本身不包含什么關(guān)鍵信息，去掉有利于縮小索引文件、提高效率、提高命中率。分詞的規(guī)則千變?nèi)f化，但目的只有一個(gè)：按語(yǔ)義劃分。這點(diǎn)在英文中比較容易實(shí)現(xiàn)，因?yàn)橛⑽谋旧砭褪且詥卧~為單位的，已經(jīng)用空格分開(kāi)；而中文則必須以某種方法將連成一片的句子劃分成一個(gè)個(gè)詞語(yǔ)。具體劃分方法下面再詳細(xì)介紹，這里只需了解分析器的概念即可。3.2 document用戶提供的源是一條條記錄，它們可以是文本文件、字符串或者數(shù)據(jù)庫(kù)表的

5、一條記錄等等。一條記錄經(jīng)過(guò)索引之后，就是以一個(gè)Document的形式存儲(chǔ)在索引文件中的。用戶進(jìn)行搜索，也是以Document列表的形式返回。3.3 field一個(gè)Document可以包含多個(gè)信息域，例如一篇文章可以包含標(biāo)題、正文、最后修改時(shí)間等信息域，這些信息域就是通過(guò)Field在Document中存儲(chǔ)的。Field有兩個(gè)屬性可選：存儲(chǔ)和索引。通過(guò)存儲(chǔ)屬性你可以控制是否對(duì)這個(gè)Field進(jìn)行存儲(chǔ)；通過(guò)索引屬性你可以控制是否對(duì)該Field進(jìn)行索引。這看起來(lái)似乎有些廢話，事實(shí)上對(duì)這兩個(gè)屬性的正確組合很重要，下面舉例說(shuō)明：還是以剛才的文章為例子，我們需要對(duì)標(biāo)題和正文進(jìn)行全文搜索，所以我們要把索引屬性設(shè)

6、置為真，同時(shí)我們希望能直接從搜索結(jié)果中提取文章標(biāo)題，所以我們把標(biāo)題域的存儲(chǔ)屬性設(shè)置為真，但是由于正文域太大了，我們?yōu)榱丝s小索引文件大小，將正文域的存儲(chǔ)屬性設(shè)置為假，當(dāng)需要時(shí)再直接讀取文件；我們只是希望能從搜索解果中提取最后修改時(shí)間，不需要對(duì)它進(jìn)行搜索，所以我們把最后修改時(shí)間域的存儲(chǔ)屬性設(shè)置為真，索引屬性設(shè)置為假。上面的三個(gè)域涵蓋了兩個(gè)屬性的三種組合，還有一種全為假的沒(méi)有用到，事實(shí)上Field不允許你那么設(shè)置，因?yàn)榧炔淮鎯?chǔ)又不索引的域是沒(méi)有意義的。3.4 term term是搜索的最小單位，它表示文檔的一個(gè)詞語(yǔ)，term由兩部分組成：它表示的詞語(yǔ)和這個(gè)詞語(yǔ)所出現(xiàn)的field。3.5 tocken

7、 tocken是term的一次出現(xiàn)，它包含trem文本和相應(yīng)的起止偏移，以及一個(gè)類(lèi)型字符串。一句話中可以出現(xiàn)多次相同的詞語(yǔ)，它們都用同一個(gè)term表示，但是用不同的tocken，每個(gè)tocken標(biāo)記該詞語(yǔ)出現(xiàn)的地方。3.6 segment添加索引時(shí)并不是每個(gè)document都馬上添加到同一個(gè)索引文件，它們首先被寫(xiě)入到不同的小文件，然后再合并成一個(gè)大索引文件，這里每個(gè)小文件都是一個(gè)segment。4 lucene的結(jié)構(gòu)lucene包括core和sandbox兩部分，其中core是lucene穩(wěn)定的核心部分，sandbox包含了一些附加功能，例如highlighter、各種分析器。Lucene c

8、ore有七個(gè)包：analysis，document，index，queryParser，search，store，util。4.1 analysis Analysis包含一些內(nèi)建的分析器，例如按空白字符分詞的WhitespaceAnalyzer，添加了stopwrod過(guò)濾的StopAnalyzer，最常用的StandardAnalyzer。4.2 document Document包含文檔的數(shù)據(jù)結(jié)構(gòu)，例如Document類(lèi)定義了存儲(chǔ)文檔的數(shù)據(jù)結(jié)構(gòu)，F(xiàn)ield類(lèi)定義了Document的一個(gè)域。4.3 index Index包含了索引的讀寫(xiě)類(lèi)，例如對(duì)索引文件的segment進(jìn)行寫(xiě)、合并、優(yōu)化的In

9、dexWriter類(lèi)和對(duì)索引進(jìn)行讀取和刪除操作的IndexReader類(lèi)，這里要注意的是不要被IndexReader這個(gè)名字誤導(dǎo)，以為它是索引文件的讀取類(lèi)，實(shí)際上刪除索引也是由它完成，IndexWriter只關(guān)心如何將索引寫(xiě)入一個(gè)個(gè)segment，并將它們合并優(yōu)化；IndexReader則關(guān)注索引文件中各個(gè)文檔的組織形式。4.4 queryParser QueryParser包含了解析查詢語(yǔ)句的類(lèi)，lucene的查詢語(yǔ)句和sql語(yǔ)句有點(diǎn)類(lèi)似，有各種保留字，按照一定的語(yǔ)法可以組成各種查詢。Lucene有很多種Query類(lèi)，它們都繼承自Query，執(zhí)行各種特殊的查詢，QueryParser的作用就

10、是解析查詢語(yǔ)句，按順序調(diào)用各種Query類(lèi)查找出結(jié)果。4.5 search Search包含了從索引中搜索結(jié)果的各種類(lèi)，例如剛才說(shuō)的各種Query類(lèi)，包括TermQuery、BooleanQuery等就在這個(gè)包里。4.6 store Store包含了索引的存儲(chǔ)類(lèi)，例如Directory定義了索引文件的存儲(chǔ)結(jié)構(gòu)，F(xiàn)SDirectory為存儲(chǔ)在文件中的索引，RAMDirectory為存儲(chǔ)在內(nèi)存中的索引，MmapDirectory為使用內(nèi)存映射的索引。4.7 util Util包含一些公共工具類(lèi)，例如時(shí)間和字符串之間的轉(zhuǎn)換工具。5如何建索引5.1最簡(jiǎn)單的能完成索引的代碼片斷IndexWriter w

11、riter=new IndexWriter(/data/index/,new StandardAnalyzer(),true)；Document doc=new Document()；doc.add(new Field(title,lucene introduction,Field.Store.YES,Field.Index.TOKENIZED)；doc.add(new Field(content,lucene works well,Field.Store.YES,Field.Index.TOKENIZED)；writer.addDocument(doc)；writer.optimize()；

12、writer.close()；下面我們分析一下這段代碼。首先我們創(chuàng)建了一個(gè)writer，并指定存放索引的目錄為/data/index，使用的分析器為StandardAnalyzer，第三個(gè)參數(shù)說(shuō)明如果已經(jīng)有索引文件在索引目錄下，我們將覆蓋它們。然后我們新建一個(gè)document。我們向document添加一個(gè)field，名字是title，內(nèi)容是lucene introduction，對(duì)它進(jìn)行存儲(chǔ)并索引。再添加一個(gè)名字是content的field，內(nèi)容是lucene works well，也是存儲(chǔ)并索引。然后我們將這個(gè)文檔添加到索引中，如果有多個(gè)文檔，可以重復(fù)上面的操作，創(chuàng)建document并添加

13、。添加完所有document，我們對(duì)索引進(jìn)行優(yōu)化，優(yōu)化主要是將多個(gè)segment合并到一個(gè)，有利于提高索引速度。隨后將writer關(guān)閉，這點(diǎn)很重要。對(duì)，創(chuàng)建索引就這么簡(jiǎn)單！當(dāng)然你可能修改上面的代碼獲得更具個(gè)性化的服務(wù)。5.2將索引直接寫(xiě)在內(nèi)存你需要首先創(chuàng)建一個(gè)RAMDirectory，并將其傳給writer，代碼如下：Directory dir=new RAMDirectory()；IndexWriter writer=new IndexWriter(dir,new StandardAnalyzer(),true)；Document doc=new Document()；doc.add(new

14、 Field(title,lucene introduction,Field.Store.YES,Field.Index.TOKENIZED)；doc.add(new Field(content,lucene works well,Field.Store.YES,Field.Index.TOKENIZED)；writer.addDocument(doc)；writer.optimize()；writer.close()；5.3索引文本文件如果你想把純文本文件索引起來(lái)，而不想自己將它們讀入字符串創(chuàng)建field，你可以用下面的代碼創(chuàng)建field：Field field=new Field(cont

15、ent,new FileReader(file)；這里的file就是該文本文件。該構(gòu)造函數(shù)實(shí)際上是讀去文件內(nèi)容，并對(duì)其進(jìn)行索引，但不存儲(chǔ)。6如何維護(hù)索引索引的維護(hù)操作都是由IndexReader類(lèi)提供。6.1如何刪除索引lucene提供了兩種從索引中刪除document的方法，一種是void deleteDocument(int docNum)這種方法是根據(jù)document在索引中的編號(hào)來(lái)刪除，每個(gè)document加進(jìn)索引后都會(huì)有個(gè)唯一編號(hào)，所以根據(jù)編號(hào)刪除是一種精確刪除，但是這個(gè)編號(hào)是索引的內(nèi)部結(jié)構(gòu)，一般我們不會(huì)知道某個(gè)文件的編號(hào)到底是幾，所以用處不大。另一種是void deleteDocu

16、ments(Term term)這種方法實(shí)際上是首先根據(jù)參數(shù)term執(zhí)行一個(gè)搜索操作，然后把搜索到的結(jié)果批量刪除了。我們可以通過(guò)這個(gè)方法提供一個(gè)嚴(yán)格的查詢條件，達(dá)到刪除指定document的目的。下面給出一個(gè)例子：Directory dir=FSDirectory.getDirectory(PATH,false)；IndexReader reader=IndexReader.open(dir)；Term term=new Term(field,key)；reader.deleteDocuments(term)；reader.close()；6.2如何更新索引lucene并沒(méi)有提供專門(mén)的索引更新

17、方法，我們需要先將相應(yīng)的document刪除，然后再將新的document加入索引。例如：Directory dir=FSDirectory.getDirectory(PATH,false)；IndexReader reader=IndexReader.open(dir)；Term term=new Term(title,lucene introduction)；reader.deleteDocuments(term)；reader.close()；IndexWriter writer=new IndexWriter(dir,new StandardAnalyzer(),true)；Docum

18、ent doc=new Document()；doc.add(new Field(title,lucene introduction,Field.Store.YES,Field.Index.TOKENIZED)；doc.add(new Field(content,lucene is funny,Field.Store.YES,Field.Index.TOKENIZED)；writer.addDocument(doc)；writer.optimize()；writer.close()；7如何搜索lucene的搜索相當(dāng)強(qiáng)大，它提供了很多輔助查詢類(lèi)，每個(gè)類(lèi)都繼承自Query類(lèi)，各自完成一種特殊的查詢

19、，你可以像搭積木一樣將它們?nèi)我饨M合使用，完成一些復(fù)雜操作；另外lucene還提供了Sort類(lèi)對(duì)結(jié)果進(jìn)行排序，提供了Filter類(lèi)對(duì)查詢條件進(jìn)行限制。你或許會(huì)不自覺(jué)地拿它跟SQL語(yǔ)句進(jìn)行比較：lucene能執(zhí)行and、or、order by、where、like%xx%操作嗎?回答是：當(dāng)然沒(méi)問(wèn)題！7.1各種各樣的Query下面我們看看lucene到底允許我們進(jìn)行哪些查詢操作：7.1.1 TermQuery首先介紹最基本的查詢，如果你想執(zhí)行一個(gè)這樣的查詢：在content域中包含lucene的document，那么你可以用TermQuery：Term t=new Term(content,luce

20、ne；Query query=new TermQuery(t)；7.1.2 BooleanQuery如果你想這么查詢：在content域中包含java或perl的document，那么你可以建立兩個(gè)TermQuery并把它們用BooleanQuery連接起來(lái)：TermQuery termQuery1=new TermQuery(new Term(content,java)；TermQuery termQuery 2=new TermQuery(new Term(content,perl)；BooleanQuery booleanQuery=new BooleanQuery()；booleanQ

21、uery.add(termQuery 1,BooleanClause.Occur.SHOULD)；booleanQuery.add(termQuery 2,BooleanClause.Occur.SHOULD)；7.1.3 WildcardQuery如果你想對(duì)某單詞進(jìn)行通配符查詢，你可以用WildcardQuery，通配符包括?匹配一個(gè)任意字符和*匹配零個(gè)或多個(gè)任意字符，例如你搜索use*，你可能找到useful或者useless：Query query=new WildcardQuery(new Term(content,use*)；7.1.4 PhraseQuery你可能對(duì)中日關(guān)系比較感興

22、趣，想查找中和日挨得比較近(5個(gè)字的距離內(nèi))的文章，超過(guò)這個(gè)距離的不予考慮，你可以：PhraseQuery query=new PhraseQuery()；query.setSlop(5)；query.add(new Term(content,中)；query.add(new Term(content,日)；那么它可能搜到中日合作、中方和日方，但是搜不到中國(guó)某高層領(lǐng)導(dǎo)說(shuō)日本欠扁。7.1.5 PrefixQuery如果你想搜以中開(kāi)頭的詞語(yǔ)，你可以用PrefixQuery：PrefixQuery query=new PrefixQuery(new Term(content,中)；7.1.6 Fuz

23、zyQuery FuzzyQuery用來(lái)搜索相似的term，使用Levenshtein算法。假設(shè)你想搜索跟wuzza相似的詞語(yǔ)，你可以：Query query=new FuzzyQuery(new Term(content,wuzza)；你可能得到fuzzy和wuzzy。7.1.7 RangeQuery另一個(gè)常用的Query是RangeQuery，你也許想搜索時(shí)間域從20060101到20060130之間的document，你可以用RangeQuery：RangeQuery query=new RangeQuery(new Term(time,20060101),new Term(time,2

24、0060130),true)；最后的true表示用閉合區(qū)間。7.2 QueryParser看了這么多Query，你可能會(huì)問(wèn)：不會(huì)讓我自己組合各種Query吧，太麻煩了！當(dāng)然不會(huì)，lucene提供了一種類(lèi)似于SQL語(yǔ)句的查詢語(yǔ)句，我們姑且叫它lucene語(yǔ)句，通過(guò)它，你可以把各種查詢一句話搞定，lucene會(huì)自動(dòng)把它們查分成小塊交給相應(yīng)Query執(zhí)行。下面我們對(duì)應(yīng)每種Query演示一下：TermQuery可以用field：key方式，例如content：lucene。BooleanQuery中與用+，或用，例如content：java contenterl。WildcardQuery仍然用?和*

25、，例如content：use*。PhraseQuery用，例如content：中日5。PrefixQuery用*，例如中*。FuzzyQuery用，例如content：wuzza。RangeQuery用或，前者表示閉區(qū)間，后者表示開(kāi)區(qū)間，例如time：20060101 TO 20060130，注意TO區(qū)分大小寫(xiě)。你可以任意組合query string，完成復(fù)雜操作，例如標(biāo)題或正文包括lucene，并且時(shí)間在20060101到20060130之間的文章可以表示為：+(title：lucene content：lucene)+time：20060101 TO 20060130。代碼如下：Direc

26、tory dir=FSDirectory.getDirectory(PATH,false)；IndexSearcher is=new IndexSearcher(dir)；QueryParser parser=new QueryParser(content,new StandardAnalyzer()；Query query=parser.parse(+(title：lucene content：lucene)+time：20060101 TO 20060130；Hits hits=is.search(query)；for(int i=0；i hits.length()；i+)Document

27、 doc=hits.doc(i)；System.out.println(doc.get(title)；is.close()；首先我們創(chuàng)建一個(gè)在指定文件目錄上的IndexSearcher。然后創(chuàng)建一個(gè)使用StandardAnalyzer作為分析器的QueryParser，它默認(rèn)搜索的域是content。接著我們用QueryParser來(lái)parse查詢字串，生成一個(gè)Query。然后利用這個(gè)Query去查找結(jié)果，結(jié)果以Hits的形式返回。這個(gè)Hits對(duì)象包含一個(gè)列表，我們挨個(gè)把它的內(nèi)容顯示出來(lái)。7.3 Filter filter的作用就是限制只查詢索引的某個(gè)子集，它的作用有點(diǎn)像SQL語(yǔ)句里的wher

28、e，但又有區(qū)別，它不是正規(guī)查詢的一部分，只是對(duì)數(shù)據(jù)源進(jìn)行預(yù)處理，然后交給查詢語(yǔ)句。注意它執(zhí)行的是預(yù)處理，而不是對(duì)查詢結(jié)果進(jìn)行過(guò)濾，所以使用filter的代價(jià)是很大的，它可能會(huì)使一次查詢耗時(shí)提高一百倍。最常用的filter是RangeFilter和QueryFilter。RangeFilter是設(shè)定只搜索指定范圍內(nèi)的索引；QueryFilter是在上次查詢的結(jié)果中搜索。Filter的使用非常簡(jiǎn)單，你只需創(chuàng)建一個(gè)filter實(shí)例，然后把它傳給searcher。繼續(xù)上面的例子，查詢時(shí)間在20060101到20060130之間的文章除了將限制寫(xiě)在query string中，你還可以寫(xiě)在RangeFil

29、ter中：Directory dir=FSDirectory.getDirectory(PATH,false)；IndexSearcher is=new IndexSearcher(dir)；QueryParser parser=new QueryParser(content,new StandardAnalyzer()；Query query=parser.parse(title：lucene content：lucene；RangeFilter filter=new RangeFilter(time,20060101,20060230,true,true)；Hits hits=is.sea

30、rch(query,filter)；for(int i=0；i hits.length()；i+)Document doc=hits.doc(i)；System.out.println(doc.get(title)；is.close()；7.4 Sort有時(shí)你想要一個(gè)排好序的結(jié)果集，就像SQL語(yǔ)句的order by，lucene能做到：通過(guò)Sort。Sort sort=new Sort(time)；/相當(dāng)于SQL的order by timeSort sort=new Sort(time,true)；/相當(dāng)于SQL的order by time desc下面是一個(gè)完整的例子：Directory d

31、ir=FSDirectory.getDirectory(PATH,false)；IndexSearcher is=new IndexSearcher(dir)；QueryParser parser=new QueryParser(content,new StandardAnalyzer()；Query query=parser.parse(title：lucene content：lucene；RangeFilter filter=new RangeFilter(time,20060101,20060230,true,true)；Sort sort=new Sort(time)；Hits hi

32、ts=is.search(query,filter,sort)；for(int i=0；i hits.length()；i+)Document doc=hits.doc(i)；System.out.println(doc.get(title)；is.close()；8分析器在前面的概念介紹中我們已經(jīng)知道了分析器的作用，就是把句子按照語(yǔ)義切分成一個(gè)個(gè)詞語(yǔ)。英文切分已經(jīng)有了很成熟的分析器：StandardAnalyzer，很多情況下StandardAnalyzer是個(gè)不錯(cuò)的選擇。甚至你會(huì)發(fā)現(xiàn)StandardAnalyzer也能對(duì)中文進(jìn)行分詞。但是我們的焦點(diǎn)是中文分詞，StandardAnalyze

33、r能支持中文分詞嗎?實(shí)踐證明是可以的，但是效果并不好，搜索如果會(huì)把牛奶不如果汁好喝也搜索出來(lái)，而且索引文件很大。那么我們手頭上還有什么分析器可以使用呢?core里面沒(méi)有，我們可以在sandbox里面找到兩個(gè)：ChineseAnalyzer和CJKAnalyzer。但是它們同樣都有分詞不準(zhǔn)的問(wèn)題。相比之下用StandardAnalyzer和ChineseAnalyzer建立索引時(shí)間差不多，索引文件大小也差不多，CJKAnalyzer表現(xiàn)會(huì)差些，索引文件大且耗時(shí)比較長(zhǎng)。要解決問(wèn)題，首先分析一下這三個(gè)分析器的分詞方式。StandardAnalyzer和ChineseAnalyzer都是把句子按單個(gè)字

34、切分，也就是說(shuō)牛奶不如果汁好喝會(huì)被它們切分成牛奶不如果汁好喝；而CJKAnalyzer則會(huì)切分成牛奶奶不不如如果果汁汁好好喝。這也就解釋了為什么搜索果汁都能匹配這個(gè)句子。以上分詞的缺點(diǎn)至少有兩個(gè)：匹配不準(zhǔn)確和索引文件大。我們的目標(biāo)是將上面的句子分解成牛奶不如果汁好喝。這里的關(guān)鍵就是語(yǔ)義識(shí)別，我們?nèi)绾巫R(shí)別牛奶是一個(gè)詞而奶不不是詞語(yǔ)?我們很自然會(huì)想到基于詞庫(kù)的分詞法，也就是我們先得到一個(gè)詞庫(kù)，里面列舉了大部分詞語(yǔ)，我們把句子按某種方式切分，當(dāng)?shù)玫降脑~語(yǔ)與詞庫(kù)中的項(xiàng)匹配時(shí)，我們就認(rèn)為這種切分是正確的。這樣切詞的過(guò)程就轉(zhuǎn)變成匹配的過(guò)程，而匹配的方式最簡(jiǎn)單的有正向最大匹配和逆向最大匹配兩種，說(shuō)白了就是一

35、個(gè)從句子開(kāi)頭向后進(jìn)行匹配，一個(gè)從句子末尾向前進(jìn)行匹配?；谠~庫(kù)的分詞詞庫(kù)非常重要，詞庫(kù)的容量直接影響搜索結(jié)果，在相同詞庫(kù)的前提下，據(jù)說(shuō)逆向最大匹配優(yōu)于正向最大匹配。當(dāng)然還有別的分詞方法，這本身就是一個(gè)學(xué)科，我這里也沒(méi)有深入研究?；氐骄唧w應(yīng)用，我們的目標(biāo)是能找到成熟的、現(xiàn)成的分詞工具，避免重新發(fā)明車(chē)輪。經(jīng)過(guò)網(wǎng)上搜索，用的比較多的是中科院的ICTCLAS和一個(gè)不開(kāi)放源碼但是免費(fèi)的JE-Analysis。ICTCLAS有個(gè)問(wèn)題是它是一個(gè)動(dòng)態(tài)鏈接庫(kù)，java調(diào)用需要本地方法調(diào)用，不方便也有安全隱患，而且口碑也確實(shí)不大好。JE-Analysis效果還不錯(cuò)，當(dāng)然也會(huì)有分詞不準(zhǔn)的地方，相比比較方便放心。9性

36、能優(yōu)化一直到這里，我們還是在討論怎么樣使lucene跑起來(lái)，完成指定任務(wù)。利用前面說(shuō)的也確實(shí)能完成大部分功能。但是測(cè)試表明lucene的性能并不是很好，在大數(shù)據(jù)量大并發(fā)的條件下甚至?xí)邪敕昼姺祷氐那闆r。另外大數(shù)據(jù)量的數(shù)據(jù)初始化建立索引也是一個(gè)十分耗時(shí)的過(guò)程。那么如何提高lucene的性能呢?下面從優(yōu)化創(chuàng)建索引性能和優(yōu)化搜索性能兩方面介紹。9.1優(yōu)化創(chuàng)建索引性能這方面的優(yōu)化途徑比較有限，IndexWriter提供了一些接口可以控制建立索引的操作，另外我們可以先將索引寫(xiě)入RAMDirectory，再批量寫(xiě)入FSDirectory，不管怎樣，目的都是盡量少的文件IO，因?yàn)閯?chuàng)建索引的最大瓶頸在于磁盤(pán)I

37、O。另外選擇一個(gè)較好的分析器也能提高一些性能。9.1.1通過(guò)設(shè)置IndexWriter的參數(shù)優(yōu)化索引建立setMaxBufferedDocs(int maxBufferedDocs)控制寫(xiě)入一個(gè)新的segment前內(nèi)存中保存的document的數(shù)目，設(shè)置較大的數(shù)目可以加快建索引速度，默認(rèn)為10。setMaxMergeDocs(int maxMergeDocs)控制一個(gè)segment中可以保存的最大document數(shù)目，值較小有利于追加索引的速度，默認(rèn)Integer.MAX_VALUE，無(wú)需修改。setMergeFactor(int mergeFactor)控制多個(gè)segment合并的頻率，值較

38、大時(shí)建立索引速度較快，默認(rèn)是10，可以在建立索引時(shí)設(shè)置為100。9.1.2通過(guò)RAMDirectory緩寫(xiě)提高性能我們可以先把索引寫(xiě)入RAMDirectory，達(dá)到一定數(shù)量時(shí)再批量寫(xiě)進(jìn)FSDirectory，減少磁盤(pán)IO次數(shù)。FSDirectory fsDir=FSDirectory.getDirectory(/data/index,true)；RAMDirectory ramDir=new RAMDirectory()；IndexWriter fsWriter=new IndexWriter(fsDir,new StandardAnalyzer(),true)；IndexWriter ram

39、Writer=new IndexWriter(ramDir,new StandardAnalyzer(),true)；while(there are documents to index).create Document.ramWriter.addDocument(doc)；if(condition for flushing memory to disk has been met)fsWriter.addIndexes(new DirectoryramDir)；ramWriter.close()；ramWriter=new IndexWriter(ramDir,new StandardAnal

40、yzer(),true)；9.1.3選擇較好的分析器這個(gè)優(yōu)化主要是對(duì)磁盤(pán)空間的優(yōu)化，可以將索引文件減小將近一半，相同測(cè)試數(shù)據(jù)下由600M減少到380M。但是對(duì)時(shí)間并沒(méi)有什么幫助，甚至?xí)枰L(zhǎng)時(shí)間，因?yàn)檩^好的分析器需要匹配詞庫(kù)，會(huì)消耗更多cpu，測(cè)試數(shù)據(jù)用StandardAnalyzer耗時(shí)133分鐘；用MMAnalyzer耗時(shí)150分鐘。9.2優(yōu)化搜索性能雖然建立索引的操作非常耗時(shí)，但是那畢竟只在最初創(chuàng)建時(shí)才需要，平時(shí)只是少量的維護(hù)操作，更何況這些可以放到一個(gè)后臺(tái)進(jìn)程處理，并不影響用戶搜索。我們創(chuàng)建索引的目的就是給用戶搜索，所以搜索的性能才是我們最關(guān)心的。下面就來(lái)探討一下如何提高搜索性能。9

41、.2.1將索引放入內(nèi)存這是一個(gè)最直觀的想法，因?yàn)閮?nèi)存比磁盤(pán)快很多。Lucene提供了RAMDirectory可以在內(nèi)存中容納索引：Directory fsDir=FSDirectory.getDirectory(/data/index/,false)；Directory ramDir=new RAMDirectory(fsDir)；Searcher searcher=new IndexSearcher(ramDir)；但是實(shí)踐證明RAMDirectory和FSDirectory速度差不多，當(dāng)數(shù)據(jù)量很小時(shí)兩者都非常快，當(dāng)數(shù)據(jù)量較大時(shí)(索引文件400M)RAMDirectory甚至比FSDirec

42、tory還要慢一點(diǎn)，這確實(shí)讓人出乎意料。而且lucene的搜索非常耗內(nèi)存，即使將400M的索引文件載入內(nèi)存，在運(yùn)行一段時(shí)間后都會(huì)out of memory，所以個(gè)人認(rèn)為載入內(nèi)存的作用并不大。9.2.2優(yōu)化時(shí)間范圍限制既然載入內(nèi)存并不能提高效率，一定有其它瓶頸，經(jīng)過(guò)測(cè)試發(fā)現(xiàn)最大的瓶頸居然是時(shí)間范圍限制，那么我們可以怎樣使時(shí)間范圍限制的代價(jià)最小呢?當(dāng)需要搜索指定時(shí)間范圍內(nèi)的結(jié)果時(shí)，可以：1、用RangeQuery，設(shè)置范圍，但是RangeQuery的實(shí)現(xiàn)實(shí)際上是將時(shí)間范圍內(nèi)的時(shí)間點(diǎn)展開(kāi)，組成一個(gè)個(gè)BooleanClause加入到BooleanQuery中查詢，因此時(shí)間范圍不可能設(shè)置太大，經(jīng)測(cè)試，范

43、圍超過(guò)一個(gè)月就會(huì)拋BooleanQuery.TooManyClauses，可以通過(guò)設(shè)置BooleanQuery.setMaxClauseCount(int maxClauseCount)擴(kuò)大，但是擴(kuò)大也是有限的，并且隨著maxClauseCount擴(kuò)大，占用內(nèi)存也擴(kuò)大2、用RangeFilter代替RangeQuery，經(jīng)測(cè)試速度不會(huì)比RangeQuery慢，但是仍然有性能瓶頸，查詢的90%以上時(shí)間耗費(fèi)在RangeFilter，研究其源碼發(fā)現(xiàn)RangeFilter實(shí)際上是首先遍歷所有索引，生成一個(gè)BitSet，標(biāo)記每個(gè)document，在時(shí)間范圍內(nèi)的標(biāo)記為true，不在的標(biāo)記為false，然后

44、將結(jié)果傳遞給Searcher查找，這是十分耗時(shí)的。3、進(jìn)一步提高性能，這個(gè)又有兩個(gè)思路：a、緩存Filter結(jié)果。既然RangeFilter的執(zhí)行是在搜索之前，那么它的輸入都是一定的，就是IndexReader，而IndexReader是由Directory決定的，所以可以認(rèn)為RangeFilter的結(jié)果是由范圍的上下限決定的，也就是由具體的RangeFilter對(duì)象決定，所以我們只要以RangeFilter對(duì)象為鍵，將filter結(jié)果BitSet緩存起來(lái)即可。lucene API已經(jīng)提供了一個(gè)CachingWrapperFilter類(lèi)封裝了Filter及其結(jié)果，所以具體實(shí)施起來(lái)我們可以cac

45、he CachingWrapperFilter對(duì)象，需要注意的是，不要被CachingWrapperFilter的名字及其說(shuō)明誤導(dǎo)，CachingWrapperFilter看起來(lái)是有緩存功能，但的緩存是針對(duì)同一個(gè)filter的，也就是在你用同一個(gè)filter過(guò)濾不同IndexReader時(shí)，它可以幫你緩存不同IndexReader的結(jié)果，而我們的需求恰恰相反，我們是用不同filter過(guò)濾同一個(gè)IndexReader，所以只能把它作為一個(gè)封裝類(lèi)。b、降低時(shí)間精度。研究Filter的工作原理可以看出，它每次工作都是遍歷整個(gè)索引的，所以時(shí)間粒度越大，對(duì)比越快，搜索時(shí)間越短，在不影響功能的情況下，時(shí)間

46、精度越低越好，有時(shí)甚至犧牲一點(diǎn)精度也值得，當(dāng)然最好的情況是根本不作時(shí)間限制。下面針對(duì)上面的兩個(gè)思路演示一下優(yōu)化結(jié)果(都采用800線程隨機(jī)關(guān)鍵詞隨即時(shí)間范圍)：第一組，時(shí)間精度為秒：方式直接用RangeFilter使用cache不用filter平均每個(gè)線程耗時(shí)10s 1s 300ms第二組，時(shí)間精度為天方式直接用RangeFilter使用cache不用filter平均每個(gè)線程耗時(shí)900ms 360ms 300ms由以上數(shù)據(jù)可以得出結(jié)論：1、盡量降低時(shí)間精度，將精度由秒換成天帶來(lái)的性能提高甚至比使用cache還好，最好不使用filter。2、在不能降低時(shí)間精度的情況下，使用cache能帶了10倍左

47、右的性能提高。9.2.3使用更好的分析器這個(gè)跟創(chuàng)建索引優(yōu)化道理差不多，索引文件小了搜索自然會(huì)加快。當(dāng)然這個(gè)提高也是有限的。較好的分析器相對(duì)于最差的分析器對(duì)性能的提升在20%以下。10一些經(jīng)驗(yàn)10.1關(guān)鍵詞區(qū)分大小寫(xiě)or AND TO等關(guān)鍵詞是區(qū)分大小寫(xiě)的，lucene只認(rèn)大寫(xiě)的，小寫(xiě)的當(dāng)做普通單詞。10.2讀寫(xiě)互斥性同一時(shí)刻只能有一個(gè)對(duì)索引的寫(xiě)操作，在寫(xiě)的同時(shí)可以進(jìn)行搜索10.3文件鎖在寫(xiě)索引的過(guò)程中強(qiáng)行退出將在tmp目錄留下一個(gè)lock文件，使以后的寫(xiě)操作無(wú)法進(jìn)行，可以將其手工刪除10.4時(shí)間格式lucene只支持一種時(shí)間格式y(tǒng)yMMddHHmmss，所以你傳一個(gè)yy-MM-dd HH：mm

48、：ss的時(shí)間給lucene它是不會(huì)當(dāng)作時(shí)間來(lái)處理的10.5設(shè)置boost有些時(shí)候在搜索時(shí)某個(gè)字段的權(quán)重需要大一些，例如你可能認(rèn)為標(biāo)題中出現(xiàn)關(guān)鍵詞的文章比正文中出現(xiàn)關(guān)鍵詞的文章更有價(jià)值，你可以把標(biāo)題的boost設(shè)置的更大，那么搜索結(jié)果會(huì)優(yōu)先顯示標(biāo)題中出現(xiàn)關(guān)鍵詞的文章(沒(méi)有使用排序的前題下)。使用方法：Field.setBoost(float boost)；默認(rèn)值是1.0，也就是說(shuō)要增加權(quán)重的需要設(shè)置得比1大。轉(zhuǎn)自-Lucene應(yīng)用編程接口(API)功能強(qiáng)大、非常靈活、易于使用。Lucene不但提供了出眾的全文搜索功能，還提供了所有補(bǔ)充性的過(guò)濾和排序特性。如果想把高性能、特性豐富的多重標(biāo)準(zhǔn)全文搜索

49、機(jī)制添加到應(yīng)用程序中，就需要這些功能和特性。索引任何Lucene應(yīng)用程序的第一步就是為數(shù)據(jù)建立索引。Lucene需要使用數(shù)據(jù)創(chuàng)建自己的一組索引，以便它可以對(duì)數(shù)據(jù)進(jìn)行高性能的全文檢查、過(guò)濾和排序等操作。這是相當(dāng)簡(jiǎn)單、直觀的過(guò)程。首先，需要?jiǎng)?chuàng)建IndexWriter對(duì)象，可以使用該對(duì)象建立Lucene索引，并把它寫(xiě)到磁盤(pán)上。Lucene非常靈活，它有許多選項(xiàng)。這里，我們只是在index目錄里面建立簡(jiǎn)單的索引結(jié)構(gòu)：Directory directory=FSDirectory.getDirectory(index,true)；Analyzer analyser=new StandardAnalyze

50、r()；IndexWriter writer=new IndexWriter(directory,analyser,true)；接下來(lái)，需要為數(shù)據(jù)記錄建立索引。需要為每個(gè)記錄建立單獨(dú)的索引。用Lucene為記錄建立索引時(shí)，要為每個(gè)記錄創(chuàng)建文檔(Document)對(duì)象。要讓全文索引發(fā)揮作用，就要為L(zhǎng)ucene提供可以建立索引的一些數(shù)據(jù)。最簡(jiǎn)單的選項(xiàng)就是編寫(xiě)一個(gè)方法，寫(xiě)入記錄的全文描述(包括想要搜索的各項(xiàng)內(nèi)容)，然后使用這個(gè)值作為可搜索字段。這里，我們把這個(gè)字段稱為description?？梢酝ㄟ^(guò)為文檔添加字段(Field)類(lèi)的新實(shí)例，來(lái)為字段建立索引，如下所示：Field field=new F

51、ield(field,value,Field.Store.NO,Field.Index.TOKENIZED)；doc.add(field)；可以選擇指定自己是否想保存該值供將來(lái)使用(Field.Store.YES)，還是只是為它建立索引(Field.Store.NO)。后一個(gè)選項(xiàng)適用于想建立索引、但以后不想檢索的大值。第四個(gè)參數(shù)表明想要如何為值建立索引。如果使用Field.Index.TOKENIZED，值就會(huì)被分析，讓Lucene可以更充分地利用功能強(qiáng)大的全文索引和搜索特性。正如我們會(huì)看到的那樣，缺點(diǎn)在于，無(wú)法按標(biāo)記化(tokenized)的字段對(duì)結(jié)果進(jìn)行排序。如果想為字段建立索引，而不需要

52、先進(jìn)行分析，那么Field.Index.UN_TOKENIZED很有用。如果只是想保存值，供將來(lái)使用，那么可以使用Field.Index.NO。下列代碼表明了如何為來(lái)自庫(kù)目錄的條目列表建立索引：List Item items=Catalog.getAllItems()；for(Item item：items)Document doc=new Document()；String description=item.getTitle+item.getAuthors()+item.getSummary().；doc.add(new Field(description,description,Field

53、.Store.NO,Field.Index.TOKENIZED)；.上述方法非常適用于全文搜索，但有時(shí)候也需要按特定字段進(jìn)行更加準(zhǔn)確的搜索。可搜索字段應(yīng)當(dāng)是標(biāo)記化的，不過(guò)它們確實(shí)不需要保存起來(lái)(除非想直接從Lucene文檔獲得字段值)。設(shè)想一下：如果需要根據(jù)庫(kù)目錄建立全文索引，目錄里面有成千上萬(wàn)個(gè)條目，譬如圖書(shū)、文章、報(bào)紙、視頻和聲音等資料。下列代碼說(shuō)明了如何按特定庫(kù)條目(這里是圖書(shū))的書(shū)名和國(guó)際標(biāo)準(zhǔn)圖書(shū)編號(hào)添加可搜索的索引：doc.add(new Field(title,item.getTitle(),Field.Store.NO,Field.Index.TOKENIZED)；doc.add

54、(new Field(isbn,item.getISBNNumber(),Field.Store.NO,Field.Index.TOKENIZED)；doc.add(new Field(type,Item.BOOK,Field.Store.NO,Field.Index.TOKENIZED)；writer.addDocument(doc)；.writer.close()；有時(shí)候往往會(huì)需要在表中顯示搜索結(jié)果，讓用戶可以按列對(duì)結(jié)果進(jìn)行排序。這可以用Lucene來(lái)完成，不過(guò)有一個(gè)問(wèn)題：字段必須是UN_TOKENIZED。這意味著，無(wú)法對(duì)可搜索的索引進(jìn)行排序：需要添加有著不同名字的另一個(gè)索引。辦法之一就

55、是用某種易于識(shí)讀的方式為字段名添加前綴，如下所示：/按照書(shū)名字段的可搜索索引doc.add(new Field(sort-on-title,book.getTitle(),Field.Store.YES,Field.Index.UN_TOKENIZED)；/按照國(guó)際標(biāo)準(zhǔn)圖書(shū)編號(hào)字段的可搜索索引doc.add(new Field(sort-on-isbn,book.getISBNNumber(),Field.Store.YES,Field.Index.UN_TOKENIZED)；全文搜索Lucene的全文搜索比較容易實(shí)現(xiàn)。典型的Lucene全文搜索如下所示：Searcher is=indexer

56、.getIndexSearcher()；QueryParser parser=indexer.getQueryParser(description)；Query query=parser.parse(Some full-text search terms)；Hits hits=is.search(query)；這里，我們使用索引程序按描述(description)字段執(zhí)行全文搜索。Lucene返回搜索結(jié)果(Hits)對(duì)象，我們可以使用該對(duì)象獲得匹配文檔，如下所示：for(int i=0；i searchResults.length()；i+)Document doc=searchResults.doc(i)；String title=(String)doc.getField(title)；System.out.println(title)；對(duì)這部分代碼進(jìn)行擴(kuò)充以實(shí)現(xiàn)多重標(biāo)準(zhǔn)搜索需要多一些工作量。我們這里使用的關(guān)鍵字類(lèi)是過(guò)濾器(Filter)類(lèi)，顧名思義，這個(gè)類(lèi)可以對(duì)搜索結(jié)果進(jìn)行過(guò)濾。過(guò)濾器類(lèi)實(shí)際上是一個(gè)抽象類(lèi)。有幾種類(lèi)型的過(guò)濾器類(lèi)可以定義準(zhǔn)確的過(guò)濾操作。QueryFilter