基于Sphinx構(gòu)建準實時更新的分布式通用搜索引擎平臺

孔雀V–CtrlV百度文庫集文件編號：20121223-02整理人：http://www.ctrlv.cc/基于Sphinx構(gòu)建準實時更新的分布式通用搜索引擎平臺標簽：搜索引擎、分布式、Sphinx、MySQL、并發(fā)前言：

2008年7月，我寫過一篇文章《基于Sphinx+MySQL的千萬級數(shù)據(jù)全文檢索（搜索引擎）架構(gòu)設計》。有不少網(wǎng)友希望閱讀全文，我將該文檔整理了一下，分享出來。文檔解壓后大小為7.33M，共19頁。

本站下載地址：

/book/sphinx/sphinx_mysql.zip

新浪下載分流：

/f/6728201.html

上述文檔架構(gòu)存在的局限，我在2008年12月的文章《億級數(shù)據(jù)的高并發(fā)通用搜索引擎架構(gòu)設計》中已經(jīng)指出：一是MySQL本身的并發(fā)能力有限，在200～300個并發(fā)連接下，查詢和更新就比較慢了；二是由于MySQL表的主鍵與Sphinx索引的ID一一對應，從而無法跨多表建立整站查詢，而且新增加類別還得修改配置文件，比較麻煩；三是因為和MySQL集成，無法發(fā)揮出Sphinx的優(yōu)勢。雖然如此，但對于一些寫入量不大的搜索應用，已經(jīng)足夠了，或許對很多人會有幫助。

正文：

在這之后，本人基于《億級數(shù)據(jù)的高并發(fā)通用搜索引擎架構(gòu)設計》開發(fā)的Sphinx分布式通用站內(nèi)搜索引擎平臺，已經(jīng)在生產(chǎn)環(huán)境運行9個月以上，經(jīng)過運營中的不斷完善與改進，目前已形成了一套可擴展的分布式通用站內(nèi)搜索引擎框架。CMS、視頻、論壇等產(chǎn)品發(fā)生的增、刪、改操作，文本內(nèi)容實時寫入自行開發(fā)的

HTTPSQS

高性能簡單消息隊列服務，通過隊列控制器更新索引和存儲。提供支持XML、JSON的API查詢接口，支持億級數(shù)據(jù)的索引、分布式、中文分詞、高亮顯示、自動摘要、準實時（1分鐘內(nèi)）增量索引更新。

下面是Sphinx新的搜索架構(gòu)中技術(shù)關(guān)鍵點實現(xiàn)方式的一些介紹，與大家分享、交流一下：

1、一元分詞和中文分詞的結(jié)合：

①、一元分詞位于索引更新模塊。Sphinx索引引擎對于CJK（中日韓）語言（必須是UTF-8編碼）支持一元切分，假設【反恐行動是國產(chǎn)主視角射擊網(wǎng)絡游戲】這段文字，Sphinx會將其切成【反恐行動是國產(chǎn)主視角射擊網(wǎng)絡游戲】，然后對每個字建立反向索引。如果用這句話中包含的字組成一個不存在的詞語，例如【恐動】，也會被搜索到，所以搜索時，需要加引號，例如搜索【"反恐行動"】，就能完全匹配連在一起的四個字，不連續(xù)的【"恐動"】就不會被搜索到。但是，這樣還有一個問題，搜索【"反恐行動游戲"】或【"國產(chǎn)網(wǎng)絡游戲"】就會搜索不到。對于這個問題，采用位于搜索查詢模塊的中文分詞來處理。

sphinx.conf配置文件中關(guān)于UTF-8中文一元分詞的配置如下：...省略...

indext_source_main{

source

=t_source_main

path

=/data0/search/sphinx/data/t_source_main字段u2<50并且u2>90）

&filter_range=u1:1.23,99.645,false;u2:1034.3,7834.56,true

（浮點數(shù)范圍過濾器：字段u1>=1.23并且u1<=99.645，字段u2<1034.3并且u2>7834.56）

6、搜索結(jié)果前臺頁面示例：

7、同一套服務器平臺與API接口，通用于各類產(chǎn)品：

示例：

金山游戲文章與視頻搜索：/result.php?w=%