國內外FTP搜索引擎的分析與比較

國內外FTP搜索引擎的分析與比較

1、引言在因特網上存在著、流動著各種各樣的信息，例如email信息、BBS信息、OICQ信息、被HTTP服務器管理的HTML網頁，還有被FTP服務器管理的各種類型的文件。后者是本文關心的對象，它們的典型代表是各種學術和技術文件、計算機軟件、多媒體數據。多數FTP服務器都開辟有一個公共訪問區(qū)，稱為"匿名FTP"，對公眾提供免費的文件信息服務。FTP搜索引擎的功能是搜集匿名FTP服務器提供的目錄列表，對用戶提供文件信息的查詢服務。由于FTP搜索引擎是專門針對各種文件的，因而相對WWW搜索引擎，尋找軟件、圖像、電影和音樂等文件使用FTP搜索引擎將更加方便直接。最早的FTP搜索引擎是基于文本顯示的Archie。Archie實際上是一個大型的數據庫，再加上與這個大型數據庫相關聯的一套檢索方法。該數據庫中包括大量可通過FTP下載的文件資源的有關信息，包括這些資源的文件名、文件長度、存放該文件的計算機名及目錄名等?？梢酝ㄟ^遠程登錄到Archie主機來使用Archie服務器，用Archie作為登錄名。一旦登錄成功，一個Archie程序將自動執(zhí)行，這時一次輸入一條命令，告訴Archie想查尋的內容，Archie將檢索自己的數據庫并顯示檢索的結果。如果用戶對自己想要的東西并不太清楚，Archie還提供"whatis"服務項目，該服務提供成千上萬個程序、數據文件和文檔的簡短說明。WWW的出現改變了Archie在文件搜索方面的統(tǒng)治地位，在美觀、方便的WWW頁面上搜索ftp文件成為用戶的自然需求，即人們需要有一種基于Web的FTP搜索引擎。在功能上，基于Web的ftp搜索引擎與Archie基本一樣，都是對用戶提交的查詢匹配串找到可以下載的ftp站點鏈接。但基于Web的ftp搜索引擎也有很多特色的功能，比如天網ftp搜索引擎的文件分類功能就大大便利了用戶查找文件的過程，提高了查準率。基于Web的ftp搜索引擎也采用了很多WWW搜索引擎的策略，比如使用Spider自動收集數據，采用倒排索引，智能換頁鏈接技術以及大型ftp搜索引擎必須采用的分布收集和服務技術。天網FTP搜索引擎是北京大學計算機系網絡與分布式系統(tǒng)實驗室開發(fā)的一個產品，目前已經在上提供服務，搜集文件數據量超過一千萬，每日用戶訪問超過40萬次，是目前國內規(guī)模最大的FTP搜索引擎，也是國際FTP搜索引擎中的佼佼者(試在Google查詢"ftp搜索引擎"!)。以下我們將天網FTP搜索引擎與多個著名的國內外FTP搜索引擎進行分析比較，從而得到全球FTP搜索引擎的現狀并探討其發(fā)展趨勢。2、著名的國際國內FTP搜索引擎目前國內外ftp搜索引擎已有不少，我們研究了許多FTP搜索引擎，列出下列比較典型和著名的FTP搜索引擎作為本文的討論對象：國外著名的FTP搜索引擎：交大思源搜索全軍基因診斷技術研究所FTP引擎夢軒FTP搜索中科大天狼中英文搜索引擎/網絡指南針華南理工木棉中英文搜索引擎FTP星空搜索/ftpsearch/search.html3、搜集文件條目數據量的比較一個搜索引擎是否大型，就在于其維護的信息量是否足夠。據統(tǒng)計，全球匿名FTP服務提供的文件條目已經超過數億，而中國國內的匿名FTP服務也提供了幾千萬的文件。由于很多搜索引擎并沒有顯式的說明自己的數據庫究竟包含了多少個文件條目的信息，我們采用兩個通用查詢來估測搜索引擎的數據量，一個是子串查詢Winzip，代表Windows平臺常見的文件，另一個是子串查詢Linux，代表非Windows平臺文件。從以上統(tǒng)計信息可以看出，國外大型FTP搜索引擎數據鏈一般都達到千萬條目以上，而國內FTP搜索引擎中，只有北大天網搜索、清華9#、華南木棉、星空搜索可能達到了這個量級，其中又以天網搜索星空搜索文件數量最大，而華南木棉包含了HTTP和FTP兩個協議的文件，因而文件數目也很大。4、FTP搜索引擎功能選項比較搜索引擎是否吸引用戶，光看數據量是不夠的，因為即使在同樣的數據量下，各個搜索引擎可以實現的數據挖掘結果各有區(qū)別，而這個就很大程度上影響了用戶找到需要的文件。早期的Archie就已經提供了很多搜索功能和選項，后來的FTP搜索引擎很大程度上都是模仿了Archie，這些功能或選項包括：a、支持*，?等與或操作符b、支持多種查詢模式，如是否大小寫區(qū)分，是否子串匹配或精確查詢等c、支持文件時間、文件大小、最后修改時間等過濾選項d、支持多頁面顯示查詢結果，常見的換頁方式有索引式和下一頁式這些功能或選項是各種文件查詢系統(tǒng)應該支持的基本功能，我們稱之為Ftp搜索引擎的基本功能選項。當今的Ftp搜索引擎技術在發(fā)展，其功能也日新月異。我們考查許多Ftp搜索引擎，列出下列區(qū)別于基本功能選項的新功能，這些功能選項以其簡單方便成為一些Ftp搜索引擎的亮點，我們稱之為"新興功能選項"：a、支持指定站點的站內文件查詢b、支持結果排序，例如按時間、大小、站點等的排序c、查詢結果中的再查詢d、支持分類目錄，例如提供許多常用的查詢供用戶選擇e、支持查詢系統(tǒng)的文件分類，指在一個擴展名集內的查詢，如查電影f、提供FTP站點在線與否的狀況顯示g、支持在線的站點登記h、FTP站點快照Ftp搜索引擎的基本功能選項比較：由上表可以看出，絕大部分Ftp搜索引擎都支持我們所指的"基本功能選項"，其中支持*?操作和結果換頁是最為必要的，Ftp搜索引擎都應該支持這些功能。而多種查詢模式和時間大小過濾并不是特別需要，因為對于普通用戶而言，有最基本的功能選項就足夠了，而且文件名大小寫以及其時間大小并不是特別確定的，不同的軟件提供者可能在同一軟件的名字和修改時間上有些改動，用戶用目視的方式可能可以得到更多的有效結果。結果換頁方式有兩種，一種是索引式，用戶可以在結果頁面里任意挑選一頁顯示，另一種是下一頁式，用戶只能一頁一頁的向后翻才可以看到后續(xù)的結果。大部分WWW搜索引擎都是使用了索引式換頁，因為當查詢結果有很多時，一頁一頁往下翻可能使得用戶無法跳出同一類不精確的查詢結果，而索引式換頁還可以支持用戶隨機地挑選查詢結果，比如用戶查詢*.rm，然后隨機的挑一些電影看。因此我們認為索引式的結果換頁是一種更為先進更為方便的方式。從上表可以看出，天網FTP搜索引擎支持了大部分基本功能選項，結果換頁采用索引方式，因而使用起來是比較方便的。從上表可以看出，站內查詢、結果排序、文件分類和在線站點登記已經受到許多FTP搜索引擎的重視，而結果中查詢、分類目錄、站點在線狀況分析和站點快照等只有很少Ftp搜索引擎實現了，例如天網Ftp搜索的結果中查詢和分類目錄其他Ftp搜索引擎都沒有實現。在這些新興功能選項里，我們參考許多用戶的反饋和我們對天網Ftp搜索查詢日志的分析，認為"文件分類"和"站點在線狀況"是目前用戶最為希望能夠使用的，同時在查詢結果頁面里面的結果排序是一種更為有效的結果排序。5、FTP搜索引擎速度比較：Ftp搜索引擎的速度是十分重要的，因為搜索引擎本身的目的就是提高用戶查找信息的速度。搜索引擎的速度與系統(tǒng)底層的實現密切相關，一般而言，如果一個搜索引擎底層的查詢是使用通用數據庫提供的查詢算法，則其查詢速度會慢很多，而如果采用WWW搜索引擎常用的倒排表索引歸并算法，則可以達到在毫秒級完成千萬文件條目的查詢任務。由于我們無法得到大部分Ftp搜索引擎底層究竟是使用了什么查詢算法和系統(tǒng)，我們只能從外部來考查它的查詢速度，也就是搜索引擎自己顯示的它所費的查詢時間。我們用以下特別查詢來判斷搜索引擎的速度：1、查*.txt代表正常的擴展名查詢2、查ab*cd代表*操作，是一個比較費時的查詢3、查winzip??.exe代表？操作，是一個比較費時的查詢4、查windows代表正常的子串查詢我們同時統(tǒng)計了查詢的結果數目，如果系統(tǒng)沒有提供它所費的查詢時間，我們則僅僅統(tǒng)計它的查詢結果。下表表項分別是(查詢費時、結果數目)，>表示超過搜索引擎的最大結果顯示數。從上表可以看出，在提供了查詢費時統(tǒng)計的所有Ftp搜索引擎里，北大天網Ftp搜索引擎達到了毫秒級的查詢速度，且總體而言是最快的。很多搜索引擎并沒有提供查詢費時的統(tǒng)計，我們只能假設這些搜索引擎在搜索速度上都是相等的，都屬于中上速度的搜索引擎。6、總結從上面各個比較可以看出，天網FTP搜索無論在功能、速度、數據量上都是名列前茅的FTP搜索引擎，它的結果中查詢功能(是所有已知FTP搜索引擎中唯一支持結果中查詢的)，分類目錄功能(在Google的中文分類目錄搜索引擎里北大天網排名第四，超過了國內著名的WWW搜索引擎百渡搜索以及新浪分類目錄)，文件分類查詢和在結果頁面里面的結果排序都是極有特色的，而最為重要的是，天網FTP搜索強大的查詢命令解析功能使得各種輸入都盡可能為用戶找到查詢結果，使得用戶使用搜索引擎更為方便，不受限制。但是，與P相比，天網FTP搜索的數據量太少，這個可能是國內FTP站點大部分都是個人站點造成的。P也是一個很成功的FTP搜索引擎，它支持各種與或操作的查詢，而且查詢速度十分快，但是功能方面比較簡單，只有簡單查詢。AlltheW源自于原來的FastFtpSearch，是多年來的重要產品，因而無論在數據量和功能上很強，而且由于它的商業(yè)開發(fā)比較早，也是少有的幾個提供商業(yè)應用服務的FTP搜索引擎，是它的一個主要客戶。但是AlltheWeb沒有支持很多新興的FTP搜索引擎功能，不能說不是一大缺陷。F和都是非美國的FTP搜索引擎，其中以其大數據量和通用與或操作查詢贏得較好評價，而則相對比較差。在國外的FTP搜索引擎中，是功能最為領先的，它支持了包括站點快照和文件分類等新興功能，而且其數據量非常大，但速度相對比較慢，還是秒級的查詢速度F是老FTP搜索引擎，它的數據已經3年沒有更新，僅僅因為它曾經存在的名氣和大的數據量我們依然分析評測了這個站點。國內的FTP搜索引擎里，除了天網搜索，最值得推薦的就是星空搜索。星空搜索以其大的數據量和特色功能如站點快照、站點在線狀況等著稱，但是它對查詢串的解析功能太差，不能支持與或操作，造成很多常用查詢無法得到查詢結果。NoseyParker家族作為最常見的FTP搜索引擎而著名，清華酒井的FTP搜索數據量也很大，但是NoseyParker速度并不快，而且不支持各種新興功能，它的下一頁換頁方式不是很方便。值得注意的是NoseyParker家族里面的"夢軒FTP搜索"已經對NoseyParker進行了很大的改進，增加了許多新興功能，使用起來還是很方便的。與天網搜索同屬于教育界科研項目的有華南木棉搜索引擎、網絡指南針以及比較新的中科大天狼搜索引擎。這些搜索引擎中以華南木棉使用起來最為方便，它支持文件分類和排序以及傳統(tǒng)FTP搜索引擎支持的各種與或操作符，但是它的數據量比較小，很大部分的文件信息來自于互聯網網頁而不是FTP，查詢時命中率并不是想象中的那么高。網絡指南針和中科大天狼都沒有支持新興功能，但網絡指南針用起來比中科大天狼方便，因為天狼搜索由于其不支持結果換頁使得可用性大大降低。但是天狼搜索查詢高速度卻很高，達到了毫秒級，估計是使用了比較好的索引算法?！蛾P于2010-2011年度：中國電子商務系列研究報告定制的通知》作為國內專業(yè)電子商務研究機構，包括B2B領域的阿里巴巴、網盛生意寶、中國制造網、慧聰網、環(huán)球資源、金銀島、一達通、敦煌網等企業(yè)；B2C領域的京東商城、當當網、卓越亞馬遜、新蛋中國、紅孩子、凡客誠品(VANCL)、麥考林（麥網）、庫巴購物網、蘇寧易購、淘寶網、拍拍網、eBay易趣網、樂酷天、百度有啊、樂淘網、銀泰網、珂蘭鉆石網等；支付領域的支付寶、財付通、環(huán)迅支付、百付寶、銀聯電子支付、快錢、易寶支付等；還有移動電子商務領域的中科聚盟、新網互聯、匯?？萍?、億美軟通、天下互聯、新網互聯、用友偉庫等，以及團購領域的拉手網、美團網、F團、窩窩團、阿丫團、24券、愛幫網、糯米網、騰訊“QQ”團、酷團網、大眾點評網、淘寶“聚劃算”等電子商務各領域典型企業(yè)，均為中心的重點研究與監(jiān)測對象。據不完全統(tǒng)計：逾500家專注報道電商的媒體記者已注冊為中心“特約記者”，第一時間密切關注引用本中心報告；累計5余萬家電子商務及相關企業(yè)長期訂閱、并引用報告數據；報告影響力輻射2000萬家中小企業(yè)、5千萬網購用戶；并屢獲包括國家商務部、工信部、工商總局、發(fā)改委、國新辦、央行、海關總署在內的多部委引用、認可；累計不少于600家