百萬量級的細(xì)粒度查詢意圖識別

1、星辰系統(tǒng)：百萬量級細(xì)粒度查詢意圖識別目錄動(dòng)機(jī)與目標(biāo)現(xiàn)有方法框架與方法效果與應(yīng)用動(dòng)機(jī)與目標(biāo) 搜索廣告的現(xiàn)狀 當(dāng)前的搜索廣告中，搜索引擎主要基于關(guān)鍵字匹配的搜索模式。 問題 查詢短、特征稀疏、歧義強(qiáng) 字面匹配缺乏意圖相關(guān)特征 廣告缺乏相關(guān)性 傷害用戶體驗(yàn)、造成客戶無效消耗動(dòng)機(jī)與目標(biāo) 目標(biāo) 挖掘海量細(xì)粒度查詢意圖 建立查詢與意圖間映射關(guān)系 處理高頻與長尾查詢 高精確性與較高覆蓋率現(xiàn)有方法 Google的Google Rephil系統(tǒng) Google廣告相關(guān)性的頭號秘密武器 對詞或短語片段聚類發(fā)現(xiàn)概念 百萬量級的概念 基于Bayesian網(wǎng)絡(luò)的推斷方法 細(xì)節(jié)不公開現(xiàn)有方法 識別意圖的3類方法 短文本聚類

2、 Topic Modeling 查詢分類 特點(diǎn) 可發(fā)現(xiàn)細(xì)粒度意圖、難覆蓋長尾查詢 不同數(shù)據(jù)集Topic難對應(yīng)，短文本分析精確不足 一般含幾十到上千個(gè)類，粒度較粗框架與方法 細(xì)粒度意圖識別方法框架與方法 星辰系統(tǒng)整體框架查詢聚類 構(gòu)建Query同點(diǎn)擊網(wǎng)絡(luò) 基本假設(shè)：點(diǎn)擊相同網(wǎng)頁的查詢意圖相似 對網(wǎng)絡(luò)進(jìn)行社團(tuán)劃分 查詢間的意圖會有細(xì)微差別、誤點(diǎn)情況 聚類算法要具有一定抗噪性 圖挖掘中的社團(tuán)發(fā)現(xiàn)算法社團(tuán)發(fā)現(xiàn)算法 社團(tuán)的定義 網(wǎng)絡(luò)中一群節(jié)點(diǎn)集合。 集合中節(jié)點(diǎn)間的內(nèi)部鏈接很多，而集合中節(jié)點(diǎn)與外部網(wǎng)絡(luò)的鏈接卻很少。 傳統(tǒng)方法 主要發(fā)端于 Girvan 與 Newman 于 2002 年提出的開創(chuàng)性工作 定

3、義了一個(gè)質(zhì)量函數(shù)M. Girvan and M. E. J. Newman, PNAS 99, 7821 (2002).M. E. J. Newman and M. Girvan, Phys. Rev. E 69, 026113 (2004).MMO算法MMO算法MMO算法的優(yōu)點(diǎn) 易于實(shí)現(xiàn) 時(shí)間復(fù)雜度近似線性，空間復(fù)雜度為線性。 推廣到 Hadoop 并行環(huán)境中的運(yùn)行 避免生成極大的社團(tuán)同點(diǎn)擊網(wǎng)絡(luò)構(gòu)造 數(shù)據(jù)集 2年的匿名點(diǎn)擊日志 具體步驟 抽取query-URL的關(guān)系（1300萬查詢，1650萬URL） 如果兩個(gè)query間有一個(gè)同點(diǎn)擊，則在兩個(gè)query間連接一條邊 得到查詢同點(diǎn)擊網(wǎng)絡(luò)（13

4、00萬查詢節(jié)點(diǎn)，8億條邊）概念質(zhì)量優(yōu)化 聚類存在的問題 過大的不純類 太多的細(xì)粒度聚類 聚類質(zhì)量評估 聚類純度 聚類間的相關(guān)性查詢意圖推斷 問題定義 將query的意圖識別變?yōu)橐粋€(gè)大規(guī)模多分類問題 關(guān)鍵步驟 候選分類概念 拒絕分類結(jié)果查詢意圖推斷 候選概念的發(fā)現(xiàn)查詢意圖推斷 拒絕項(xiàng) Query側(cè)相關(guān)性： 概念側(cè)相關(guān)性：概念發(fā)現(xiàn)的結(jié)果 概念分布 概念舉例精確性與覆蓋率 星辰系統(tǒng)的精確性與覆蓋率 統(tǒng)計(jì)查詢次數(shù) 精確性 97.4% 覆蓋率 61.3%查詢意圖追蹤查詢意圖追蹤線上Demo系統(tǒng)線上Demo系統(tǒng)線上Demo系統(tǒng)線上Demo系統(tǒng)廣告召回中的應(yīng)用 廣告召回應(yīng)用 訓(xùn)練針對概念的商業(yè)性分類器 判斷每個(gè)概念是否適合召回廣告 線下計(jì)算每個(gè)概念和關(guān)鍵詞的相關(guān)性 線下選擇每個(gè)概念適合召回的關(guān)鍵詞鏈 線上判斷query所屬概念，根據(jù)概念召回廣告質(zhì)量保