信息檢索技術(shù)講義

1、專題二： 信息檢索技術(shù)本專題內(nèi)容第一節(jié)布爾邏輯檢索第二節(jié)截詞檢索第三節(jié)位置檢索第四節(jié)限定檢索第五節(jié)全文檢索第六節(jié)引文檢索第一節(jié)布爾邏輯檢索一.布爾邏輯運(yùn)算符二.布爾邏輯運(yùn)算符的運(yùn)算次序三.布爾表達(dá)式編制注意事項(xiàng)四.布爾檢索表達(dá)式的特點(diǎn)（優(yōu)缺點(diǎn)）檢索單元單元詞檢索？Scomputer 1 3000 computer多元詞檢索？Sinformation retrieval 2 1300 information retrieval一.布爾邏輯運(yùn)算符布爾邏輯檢索的布爾邏輯表達(dá)式是采用布爾邏輯運(yùn)算符（邏輯與“and”、邏輯或“or”、邏輯非“not”）來(lái)連接運(yùn)算分量（檢索詞），以及表示運(yùn)算優(yōu)先級(jí)的括號(hào)組

2、成的一種表達(dá)檢索要求的一種算式，簡(jiǎn)稱提問(wèn)邏輯式。邏輯與“and”邏輯或“or”邏輯非“not”邏輯或“or”A or B ； A+B信息源中含有檢索詞A或B的所有信息均為命中對(duì)象。邏輯或可以實(shí)現(xiàn)擴(kuò)檢，增強(qiáng)檢全率ABAB AB布爾或關(guān)系文氏圖邏輯與“and”A and B； A*B同時(shí)含A、B兩個(gè)檢索詞的信息為命中信息。邏輯與運(yùn)算，可以增強(qiáng)查找的專指性，提高檢準(zhǔn)率。布爾與關(guān)系文氏圖AB ABAB邏輯非“not”A not B ；AB；B*A邏輯非運(yùn)算是一種排除性運(yùn)算，邏輯非運(yùn)算必須與邏輯與運(yùn)算同時(shí)使用。在實(shí)際檢索中，常常在一個(gè)檢索中間結(jié)果中使用“非”運(yùn)算，用來(lái)排除指定的其中某類文獻(xiàn)，以提高檢索的

3、查準(zhǔn)率。ABAB AB布爾非關(guān)系文氏圖二.布爾邏輯運(yùn)算符的運(yùn)算次序?qū)τ谝粋€(gè)布爾檢索邏輯表達(dá)式，計(jì)算機(jī)的處理總是從左向右進(jìn)行的，遵循四則運(yùn)算；對(duì)于運(yùn)算符or,and,not,它們的運(yùn)算優(yōu)先次序在不同的系統(tǒng)中有著不同的規(guī)定：DIALOG： notandor對(duì)同一個(gè)布爾邏輯提問(wèn)式來(lái)說(shuō)，不同的運(yùn)算次序?qū)?huì)產(chǎn)生不同的檢索結(jié)果。練習(xí)練習(xí)1有關(guān)上海市內(nèi)的河流污染的文獻(xiàn)。 A上海市內(nèi) B河流 C污染練習(xí)2 對(duì)日本與美國(guó)的軍隊(duì)信息化建設(shè)方面進(jìn)行比較的文獻(xiàn)。 A日本 B美國(guó) C軍隊(duì)信息化建設(shè) 練習(xí)3 有關(guān)日本或者美國(guó)的軍隊(duì)信息化建設(shè)方面的文獻(xiàn)。 A日本 B美國(guó) C軍隊(duì)信息化建設(shè)練習(xí)4 有關(guān)除了大米以外的谷物進(jìn)口的

4、文獻(xiàn) A谷物 B大米 C進(jìn)口 三.布爾表達(dá)式編制中的注意事項(xiàng)（1）概念整體與部分的關(guān)系（2）慎用“not”（3）布爾邏輯算符的使用技巧（1）概念整體與部分的關(guān)系例如“檢索關(guān)于歐洲能源問(wèn)題的文獻(xiàn)”歐洲（Europe）； 能源（Energy）Europe*Engergy*概念檢索（同義擴(kuò)展、相關(guān)概念的聯(lián)想） (Europe+Britain+France+Italy+Spain+) *(Energy+coal+petroleum+natural gas+)練習(xí)查找“有關(guān)上海市內(nèi)的河流污染的文獻(xiàn)?！?A上海市內(nèi)； B河流； C污染 (上海市 + 黃埔區(qū) + 盧灣區(qū)+) * (河流+黃埔江+蘇州河+暗溝

5、) * 污染(2)慎用“not”避免將非運(yùn)算和或運(yùn)算一起使用，否則將會(huì)再現(xiàn)濫檢現(xiàn)象。檢索邏輯not慎用，否則會(huì)檢索失敗。例如：NOT 計(jì)算機(jī) OR 軟件military aircraft NOT aircraft（computer+software） NOT harware（3）布爾邏輯算符的使用技巧當(dāng)采用邏輯與“*”連接檢索詞時(shí)，盡可能將出現(xiàn)頻率低的詞放在“*”之前，其目的是為了使否定的答案盡早排除。（要求較高的查準(zhǔn)率）采用邏輯或“+”連接檢索詞時(shí)，將出現(xiàn)頻率高的詞放在“+”之前，確保命中答案盡早出現(xiàn)。（保證較高的查全率）四.布爾檢索表達(dá)式的特點(diǎn)優(yōu)點(diǎn)：與思維習(xí)慣一致查找出有關(guān)某一主題的文獻(xiàn)同

6、時(shí)包含主題A和主題B的文獻(xiàn)主題A和主題B只要有一種即可獲得主題A的文獻(xiàn)，但排除其中含有主題B的文獻(xiàn)表達(dá)方式直觀清晰方便擴(kuò)檢與縮檢增加邏輯或(擴(kuò)檢)增加邏輯與(縮檢)缺點(diǎn)檢索輸出量難以控制；檢索結(jié)果不能根據(jù)用戶的檢索需求按重要程度順序排序輸出；對(duì)于文獻(xiàn)描述與布爾查詢中的詞匯無(wú)重要層次之分；過(guò)分依賴于檢索用詞，檢索效果不甚理想。布爾邏輯檢索小結(jié)布爾檢索技術(shù)一直是信息檢索系統(tǒng)采用的主要檢索技術(shù)之一。布爾邏輯檢索反映了檢索詞之間的邏輯關(guān)系，屬于一種定性的信息檢索技術(shù)，這種定性檢索難以分辨出檢索結(jié)果之間的重要程度。嚴(yán)格的二值邏輯判斷，使單純布爾邏輯檢索的結(jié)果缺乏“量”的比較。第二節(jié)截詞檢索（模糊檢索）截

7、詞檢索利用檢索詞的詞干或不完整的詞形進(jìn)行檢索。在檢索標(biāo)識(shí)中保留相同部分，用相應(yīng)的截詞符（ ? # : $ ）代替可變化部分進(jìn)行的檢索。截詞檢索類型（一）按截?cái)嘧址麛?shù)量分：有限截?cái)啵粺o(wú)限截?cái)啵ǘ┌唇卦~位置分：左截?cái)?；右截?cái)啵恢虚g截?cái)嘣~干后至多跟與截字符相同的字符數(shù)DIALOG child? child+children+childish+childlikeORBIT child#BRSchild$4（一）按截?cái)嘧址麛?shù)量分（1）有限截?cái)啵↙imited Truncation）有限截?cái)嘁粋€(gè)字符DIALOG technique? ? technique+techniquesORBIT techniq

8、ue#BRStechnique$1?S au=pauling,l?pauling,l+pauling,linus+pauling,linus c+pauling,linus carling?S py=199?檢出文檔中所有20世紀(jì)90年代出版的文獻(xiàn)S pollut?pollutant+pollutants+pollute+polluting+pollution(2)無(wú)限截?cái)?unlimited truncation)，也稱“開放式截?cái)唷盌IALOG中，詞干后跟一個(gè)“？”O(jiān)RBIT pollut:BRS pollut$(二)按截?cái)辔恢梅郑?）右截?cái)啵╮ight truncation）右截?cái)嘀饕?/p>

9、于：詞的單復(fù)數(shù) book? Child?同根詞color?作者 au=chamberlain, a?出版年py=199?注意：右截?cái)嘟氐眠^(guò)短易造成大量誤檢。ORBIT 、BRS 有限和無(wú)限左截?cái)?；DIALOG無(wú)此功能。#hydroxy (羥基)dehydroxy+dihydroxy+ hydroxy$2.hydroxydehydroxy+dihydroxy+ hydroxy(2)左截?cái)啵╨eft truncation）舉例magneticelectro-magneticelectromagneticparamagneticthermo-magneticthermomagneticORBIT :

10、magnetic BRS $.magnetic(3)中截?cái)啵╥nternal truncation）中截?cái)?也稱嵌入式截詞organi?ationorganization+organisationwom?n?woman+womanly+women中截?cái)嘀饕糜诘谝?，單?fù)數(shù)在詞中元音上變化的情況man men ; goose geese第二，動(dòng)詞與名詞拼寫的不同advice advise第三，同一單詞英美拼寫的差異defense defenceORBIT前后截詞CHEMICALCHEMISTRYCHEMISORPRIONCHEMISTELECTROCHEMICALELECTROCHEMISTRY

11、PHYSICOCHEMICALPHYSICOCHEMISTRYTHERMOCHEMICALTHERMOCHEMISTRY:CHEMI:主要聯(lián)機(jī)系統(tǒng)擁有的截詞功能聯(lián)機(jī)系統(tǒng)右截?cái)嘧蠼財(cái)嘧笥彝瑫r(shí)截?cái)嘀薪財(cái)郉IALOG有無(wú)無(wú)有ORBIT有有有有BRS有有無(wú)無(wú)截詞檢索的作用擴(kuò)大查找范圍，提高檢全率；減少檢索詞的輸入量，簡(jiǎn)化檢索步驟，節(jié)省費(fèi)用第三節(jié)位置檢索(鄰近檢索)一.概念及作用二.常用的位置邏輯算符三.位置算符的綜合運(yùn)算四.位置非算符在美國(guó)商業(yè)與工業(yè)管理索引 ABI/INFORM查找有關(guān)“利用計(jì)算機(jī)犯罪”的文獻(xiàn)ABI/INFORM(Copr. Data Courier Inc.)?s computer

12、 crime 1 0 COMPUTER CRIME ? ss computer? and crime? 2 23428 COMPUTER? 3 1178 CRIME? 4 300 2 AND 3?t 4/4/1 4/4/1Scotland Yard to Battle Escalating Crime with Computerized Command and Control SystemAnonymousComputerworld v16n37 pp: 18-19 Sep 13,1982The Metropolitan Police Force at Scotland Yard has in

13、stalled a computerized command and control system. The system will place Londons bobbies at the vanguard of modern computing and communications technology. When the system is fully operational, the police department will have direct connections with the Police National Computer for immediate access

14、to such information as fingerprint records.一.概念及作用位置邏輯檢索(Proximity Searching)通過(guò)位置邏輯算符規(guī)定詞間位置關(guān)系所進(jìn)行的檢索。位置邏輯算符即鄰接算符，是表示詞間位置關(guān)系的符號(hào)作用表達(dá)復(fù)雜概念；解決詞表規(guī)范詞數(shù)量不足和詞表不全的困難；提高查找深度二.常用的位置邏輯算符(以DIALOG為例)位置檢索大致包括下列四種級(jí)別的檢索：(一)詞位置檢索(二)子字段或自然句級(jí)檢索(三)字段級(jí)檢索(四)記錄級(jí)檢索(一)詞位置檢索（1）(W)或( )詞位置順序緊連With表示(w)連接的兩詞相鄰，詞序不變。兩詞之間可有單個(gè)空格、標(biāo)點(diǎn)符號(hào)（連

15、字符）。 ?s solar (w) energy/?s solar()energy可檢得含有固定詞組“solar energy” 的結(jié)果?s on (w) line可檢出on line或on-line?s x(w)ray可檢出x-ray比較檢全率?s solar (w) energy ?s solar energy?s solar and energy（2）(nW) 位置順序隔詞(nWord)（nW），表示（nW）所聯(lián)接的兩詞之間可含有0n個(gè)詞，兩詞次序不能顛倒。?s law (2W) sea可以檢出LAW OF THE SEA?s computer (1W) communication可檢出

16、：computer communication;computer and communication;computer for communication?ss computer?(w)crime? S5 154 COMPUTER?(W)CRIME?82027316 Time Bandits Miksanek,Chris Interface: Data Processing Mgmt v7n3 pp:8 Autumn 1982 The cost of computer crime to US businesses will exceed $200 million in 1982. Althou

17、gh theft of computer time occurs in most data processing (DP)centers, very few DP managers are aware of92003058Stop, Thief!/Trends to Eye in 92 Johnson, Bob Computerworld v16n1 pp:72-76 Dec 28,1991/Jan 4,1992 Because the data processed by computers is intangible, unlimited possibilities exist for th

18、e computer criminal to obtain, misuse, or destroy information and, conceivably, ruin and organization. Recent reports have estimated US corporate losses of nearly $100 million because of computer-related crime; the average loss is estimated at more than $600,000.?ss computer?(1w)crime? S6 170 COMPUT

19、ER?(1W)CRIME? (3)(N)詞位置緊連(Near)（N）表示算符（N）兩側(cè)的檢索詞必須緊密相連，但兩詞次序可以顛倒。?s Chemistry (N) Physics可檢索到詞組Chemistry Physics和Physics Chemistry?s A（N）B（N）CABC；CAB；BAC；CBA(4)(nN)隔詞運(yùn)算(nNear)（nN）表示（nN）兩側(cè)的檢索詞之間可擁有0n個(gè)單詞，且檢索詞的次序任意。?s econom? ? (2N) recovery可檢出economic recovery;recovery of the economy;recovery from econ

20、omic troubles(二)同子字段位置檢索（1）(S)子字段內(nèi)詞運(yùn)算(subfield；sentence)(S)表示運(yùn)算符要求參加運(yùn)算的檢索詞必須出現(xiàn)在同一子字段中，兩詞序不受限制，詞間可含有任意個(gè)詞。子字段由數(shù)據(jù)庫(kù)確定，可以是句子也可以是段落。?s data (S) process* 只要process，processing或processor和data存在于同一子字段中，即為命中。(2)(L)敘詞字段檢索（link）(L)要求兩檢索詞同在敘詞字段（DE）中出現(xiàn)，并且兩詞具有詞表所規(guī)定的等級(jí)關(guān)系（從屬關(guān)系）。aircraft 主標(biāo)題詞 agricultural applications

21、 cabins design engines副標(biāo)題詞?s aircraft (L) cabins例子?s rubber (L) natural S11 23 RUBBER (L) NATURAL ?t 11/5/1 97093713 CA: 97(12)93713a JOURNALDESCRIPTOR: Rubber, natural, properties (三)同字段位置算符(F)同字段檢索（Field）要求（F）兩側(cè)的檢索詞必須出現(xiàn)在數(shù)據(jù)庫(kù)的同一字段中，詞序可變，字段類型可用后綴符限定。?s environment? (F) impact/TITHE IMPACT ON THE ENVI

22、RONMENT THE ENVIRONMENT IMPACT ON THE INDUSTRIAL(四)同記錄級(jí)位置檢索（C）記錄級(jí)“與”運(yùn)算（Citation）要求各檢索詞出現(xiàn)在同一文獻(xiàn)記錄中，與布爾算符“AND”作用相仿。?s remote (C) sensor? 某記錄標(biāo)題中：REMOTE MANIPULATOR文摘中： HEAT SENSORS三.位置算符的綜合運(yùn)算純位置算符的運(yùn)算順序位置算符應(yīng)按限制的強(qiáng)弱從左至右排列 (W) (N) (S) (L) (F) (C) 位置算符和布爾算符混合使用DIALOG、BRS和 ESA：先做位置檢索，再做布爾檢索； ORBIT：先布爾檢索，后位置檢索

23、。DIALOG檢索執(zhí)行的優(yōu)先級(jí)排序括號(hào)(W) (N) (S)或( L) (F) NOTANDOR說(shuō)明運(yùn)算次序?s redwood (w) deck? (f) patio ?s （redwood or pine） (w) （deck? or floor） ?s (librar? or information) () center? (f) ( productivity or profitability)四.位置非算符NOT反位置運(yùn)算，作用正好與位置算符相反（NOT W）（NOT nW） （NOT N）（NOT nN） （NOT F）（NOT S）（NOT L）?s cs=harvard ( no

24、t s ) cs=business “Bottom-Line” Management for Public AgenciesLynn, Laurence E.Jr. Harvard Univ. Kennedy School of Government; Seidl, John M.-Stanford Univ. Graduate School of BusinessHARVARD BUSINESS REVIEW, J/Feb 1977, p.144DOCUMENT TYPE: HBR ARTICLE ?s soybean industry ( NOT L ) (Japan OR United

25、States ) 題名：Grain legumes production in Asia DE:Bean industry-Asia-Congresses; Legume industry- Asia-Congresses; Soybean industry-Asia-Congresses; Peanut industry-Asia-Congresses; Grain trade-Asia-Congresses ?s pig? ( NOT N ) Guinea Internal parasitism of feeder pigs in southern Illinois.Pig rearing

26、 and the domestication process in New Guinea and Torres Strait region第四節(jié)限定檢索一、字段限定檢索字段限定把檢索詞限定在特定字段中，以縮小文獻(xiàn)查找的范圍。?s television ?s television/tiDIALOG數(shù)據(jù)庫(kù)所有查找選項(xiàng)(一)基本索引的后綴限定 /TI /AB /DE /DE*/ID /ID* /TX 用法：A.對(duì)檢索詞加單個(gè)或多個(gè)后綴s tension/ti,de B. 對(duì)用位置算符連接起來(lái)的檢索字符串加單個(gè)或多個(gè)后綴s pop (w) top (f) can? ?/ti,abC.對(duì)用布爾算符連接的

27、一組檢索式加單個(gè)或多個(gè)后綴s (urban planning * transport)/ti,ab s contaminant? or pollutant?/ti,des budget?/tiD.對(duì)集合號(hào)加單個(gè)或多個(gè)后綴?s leukemia(白血病) S1 15544 LEUKEMIA?s s1 (f) (cat or feline)/ti/ti對(duì)整個(gè)檢索式的限定 7588 S1/TI 5240 CAT/TI 572 FELINE/TI S2 93 S1 (F) ( CAT OR FELINE)/TI后綴字段代碼與集合號(hào)連用的兩種情況：還沒有被后綴代碼限制過(guò)的集合號(hào)?s fiber + fi

28、bre S1 2301 FIBER +FIBRE?s s1/ti,de S2 1552 S1/TI,DE?s fiber + fibre S1 2301 FIBER +FIBRE?s s1/ti,de S2 1552 S1/TI,DE?s s2/ti（不能用/ab限定） S3 592 S2/TI前面已被一組字段代碼所限制的集合號(hào)，可用其中某一字段進(jìn)一步加以限制E.對(duì)擴(kuò)展號(hào)進(jìn)行后綴限定？Expand television/de,idTelevisionCircuit television; color television；satellite television; television cam

29、eras；television display systems； television systemsTelevision disease；television play； television news ；television weeklyAUauthorCScorporate source DTdocument typeJN journal nameLA languagePY publication yearUD updateCC classification code RN= registry number of a chemical substance(二)輔助索引字段的前綴代碼限定用

30、法 ：1.簡(jiǎn)單用法 A.和全字符串連用?s auJohnson, Robert R.B.和一個(gè)單詞連用?s laGermanC.和截詞符連用?s py=198?D.和位置邏輯算符連用?s cs=milan?(f) cs=ital?E.和布爾算符連用?s jn=scientific Amer? and comput?/ti2.復(fù)雜用法 ?s cs=general (w) cs=electric (f) cs=portlandWoodburn solar water heating systemInvestigators: Portland General Electric Company ?s

31、cs=(general (w) electric (f) portland) ?s cs=(general (w) electric and portland) 二.其他限定檢索 (一)用限定指令進(jìn)行限定 limit （或L）和 limitall（或 lall)用來(lái)對(duì)已經(jīng)檢索出的結(jié)果記錄，在輸出打印之前根據(jù)用戶的需求進(jìn)一步加以某些限定，以縮小查找文獻(xiàn)的范圍。限定項(xiàng)目：文獻(xiàn)記錄存取號(hào)、語(yǔ)種、文獻(xiàn)類型等。limit指令格式： L 集合號(hào)或檢索項(xiàng)/限定項(xiàng)目？S laser velocimeters S1 646 LASER VELOCIMETERSL S1/Eng 把第一步檢索出的文獻(xiàn)限制在原文為英

32、文的范圍內(nèi) S2 545 S1/ENG?S laser velocimeters/eng (1)對(duì)詞（單元詞和多元詞）的限定(2)對(duì)整個(gè)檢索式的限定?S urban planning and transport? S1 1034 URBAN PLANNING AND TRANSPORT?L s1/maj *將檢索結(jié)果限定在敘詞字段的主要敘詞中,相當(dāng)于/DE* S2 760 S1/MAJ?S (urban planning and transport?)/maj 記錄1LIGHT RAIL TRANSIT DEVELOPMENT IN THE UNITED STATES.Descriptors:

33、*URBAN PLANNING;*TRANSPORTATION; RAILROAD TRANSPOTTAION-EFFICIENCY; COST ACCOUNTING- ANALYSIS limitall或 lall的用法 將limitall后面所有的檢索步驟都限定在指定的基本索引字段中進(jìn)行。?limitall/de,tiLIMITALL started ?s mozart and requiem S1 16 MZART AND REQUIEM ?t 1/8/1Some unclarified questions concerning the history of the completion of mozart s requiem DIALOG系統(tǒng)limitall檢索實(shí)例(二)限定出版年代 (1)用“：”或“to”來(lái)表示年代范圍 ?s py=1992:py=1994?s py=1992: 1994?s py=1992 to py=1994?s py=1992 to 1994 ?s management by objectives and py=1992:py=1994 （2）年代的后綴限定 ?s s1/1998 ?s televis