內(nèi)容電商推薦算法體系介紹

1、內(nèi)容電商推薦算法體系介紹技術(shù)創(chuàng)新 變革未來目錄內(nèi)容電商的主要挑戰(zhàn)系統(tǒng)框架我們的主要工作心得體會場景模態(tài)目標內(nèi)容電商的業(yè)務(wù)場景多，分散還有大量的內(nèi)容場景，穿插在其他產(chǎn)品下面場景分散目前包含：圖片集，文本，短視頻，中長視頻，直播等形態(tài)每種類型還有若干種展示方案多變模態(tài)l 內(nèi)容電商的主要挑戰(zhàn)點擊，停留時間，IPV，GMV還要考慮內(nèi)容生態(tài)建設(shè)多目標TPP（推薦入口）SP（搜索入口）ABFSQPBERTPPAI PSPAI TFPorscheBlinkODPSQuery/User FeatureProfile/ActionModelRank/SortrecallIgraphRealtime User-A

2、ctionUser Long term-TriggerUser embeddingFeed Feature內(nèi)容召回鏈路：寶貝召回鏈路：u2follow；I2i2a；U2watch；I2i2feed；flowA2a； A2a；等I2a；等向 量 召 回Feed Feature圖文類視頻類直播類（離線+實時）TimeLine（離線 + 實時）內(nèi)容平臺 內(nèi)容庫選品離線/在線學(xué)習(xí)系統(tǒng)Merge Sort (混排策略)日志/系統(tǒng)event系統(tǒng)架構(gòu)內(nèi)容加工內(nèi)容生產(chǎn)內(nèi)容理解智能展示投放算法召回策略多目標排序策略內(nèi)容建設(shè)文本特征+商品特征+主題特征+場景特征質(zhì)量+個性化+動態(tài)相關(guān)性+商業(yè)目標主題質(zhì)量體 系主題

3、價值分 級主題標簽 建設(shè)卡片膠囊樣式策略商品簇挖掘，主題聚合，關(guān)鍵詞理解，LBS挖掘圖集生成，問大家結(jié)構(gòu)化抽取，主題挖掘，場 景挖掘，圖文生成外部數(shù)據(jù)理解特別關(guān)注熱點數(shù)據(jù)，獲取并理解淘內(nèi)沒有的增量信息用戶實時意圖實時挖掘用戶瀏覽等長期忽略的行為，動態(tài)認知交互策略定坑展示/動態(tài)展示/跳失點展示/pop layer展示宏觀業(yè)務(wù)指標大盤指標+各主題產(chǎn)品指標+用戶粘性指標微觀業(yè)務(wù)指標CTR + VV率 + 停留時間+GMV用戶理解內(nèi)部 畫像外部 畫像多維 屬性時空 偏好需求分類意圖識別負反饋識別購物決策階 段熱點預(yù)估達人/機構(gòu)運營/商家媒體/達人等級建設(shè)，流量分配，運營機制興趣熱點/ 平滑短期行為理解

4、打通淘內(nèi)電商數(shù)據(jù)，UC/優(yōu)酷等數(shù)據(jù)，長期用戶數(shù)據(jù)業(yè)務(wù)目標我們的主要工作關(guān)鍵 詞/用 戶觸 發(fā)內(nèi)容 詳情商品 詳情內(nèi)容 列表內(nèi)容 坑位相似 內(nèi)容用戶詳情回退與 商 品 混 排點擊詳情回退點擊換詞/ 刷新點擊點擊換詞/ 刷新智能內(nèi)容 首頁素材庫 優(yōu)化內(nèi)容頁UI優(yōu)化Session推薦關(guān)聯(lián)推薦Feeds首圖 首Icon Suggest內(nèi)容詳情頁圖文類視頻類直播類（離線+實時）TimeLine（離線 + 實時）內(nèi)容平臺內(nèi)容庫展示排序 召回選品內(nèi)容建設(shè)輔助韓國婚禮舉辦Text Tokens/Sente ncesImage Regions (e.g., object generator)Raw Images

5、Normal:BertMasked LMMulti-Modal:Bert style Transformer on 1 and 2Combining 1 and 3 fordifferent tasksImage-Text Pair ClassificationImage Encode- DecodeImage Inpainting NextSentenceOutput:ORMasked LMText Embedding Image EmbeddingMulti-Modal EmbeddingFinetune (sub)network on new tasks (e.g., CTR)No La

6、bels內(nèi)容表征的工作Next SentenceSparse FeaturesDense FeaturesFeature ExtractionCo-Training NetworkObjectivechannel specific networkContent Embedding networkdisplay learning network 大小渠道聯(lián)合學(xué)習(xí)解決淘寶經(jīng)驗冷啟動的 問題 加入channel specific network去學(xué) 習(xí)渠道特有的特征l 加入產(chǎn)品迭代策略 加入display learning network去學(xué)習(xí) 不同的展示樣式帶來的效果基于co-training的多

7、場景訓(xùn)練l工程上實現(xiàn)了業(yè)務(wù)無關(guān)，完全按照展示樣式和位置schemal對算法來說，是很好的display learning 特征Multi-Scale CNNDense FeaturesD&W Features顯示單張圖還是多張圖列表的主圖瀑布流主圖標題副標題業(yè)務(wù)類型的icon，個數(shù)/類型底部展示的icon，個數(shù)/類型底部icon后面追回的文本底部tag文案最后一張圖上的第一行文案最后一張圖上的第二行文案直播觀看人數(shù)文案lbs類型的距離文案Display learning network在線決策- LTR特點&挑戰(zhàn) 業(yè)務(wù)目標復(fù)雜業(yè)務(wù)多目標人群目標差異支持流量調(diào)控冷啟動 online-LTR數(shù)據(jù)分

8、布變化(case：大促期間)，更快的擬合新數(shù)據(jù)快速響應(yīng)需求：能夠靈活調(diào)頭，指哪打哪兒在線決策 RLlist天然是一個序列決策過程，可以兼顧多個業(yè)務(wù)要求使用神經(jīng)網(wǎng)絡(luò)去逼近策略函數(shù)和Q函數(shù) （soft update, replay buffer）但是在具體場景應(yīng)用RL會有一些難點：l 缺乏模擬器，依靠模型在線學(xué)習(xí)l 策略探索的regret比較高l 高度sparse高度方差的reward可能的解法：基于監(jiān)督信息以及輔助獎 賞的訓(xùn)練方法決策與內(nèi)容生態(tài)內(nèi)容生態(tài)建設(shè)業(yè)務(wù)長期發(fā)展的基礎(chǔ)如何全面認識我們的決策對業(yè)務(wù)的影響如何提高優(yōu)質(zhì)內(nèi)容的ROI，一方面解決Return，一方面解決Investment決策機制內(nèi)

9、容質(zhì)量機制升級作者賦能支撐內(nèi)容優(yōu)質(zhì)模板行業(yè)數(shù)據(jù)輸入自動化選品原創(chuàng)保護質(zhì)量預(yù)估預(yù)估數(shù)據(jù)披露新內(nèi)容冷啟動，流量探索流量監(jiān)控和下發(fā)診斷直接間接強感知弱感知平臺策略內(nèi)容運營者本身在持續(xù)做trail-and-error，反饋的缺乏抓手主要問 題在于這個過程反饋緩慢，導(dǎo)致內(nèi)容 運營者普遍追求短平快的手段，抑制了平臺供給水平的快速提升流量過于集中，兩極分化比較嚴重； 可能會導(dǎo)致優(yōu)質(zhì)內(nèi)容量下降，創(chuàng)作者 流失質(zhì)量評估和保護原商品素材（視頻 / 圖片）素材單獨招商文案 / 促銷 / 服務(wù)信息底料素材加工素材類型媒體質(zhì)量圖片合成視頻圖提取視頻圖封面視頻圖摘要圖片縮放圖片主體識別白底圖場景圖詳情圖合成圖視頻圖實拍圖S

10、KU圖視頻摘要圖像/視頻決策信息商品賣點屬性促銷信息服務(wù)行業(yè)人工模板模型生成模板投放策略： 概率投放 | 貪心策略 | Bandit思想展示預(yù)估：用戶展示圖偏好模型 | 信息優(yōu)選模型 | 布局優(yōu)選展示引擎中控樞紐前臺策略及 場景主搜結(jié)果頁（包含新的垂直化場景）店鋪搜挑尖貨等tab個性化偏好匹配 人/人群與圖片的匹配業(yè)務(wù)需求智能化展示 店鋪搜-品質(zhì)圖片展示需求行業(yè)特征特殊化支持 服飾-搭配/SKU合圖智能展示的體系換圖合圖摘要標題智能展示業(yè)務(wù)case單次請求內(nèi)容數(shù)較多，客觀造成用戶與系統(tǒng)交互少，算法能力受限的情況隨著手機端的計算能力提升和業(yè)務(wù)對于實時意圖計算能力的要求，促使我們思考是否可以在手機

11、端進行模型的預(yù)測智能交互依賴客戶端的能力搜索/推薦場景Jarvis實時特征收集事件監(jiān)聽模型推理Tpp搜索主題內(nèi)容排序用戶實時意圖識別：預(yù)估點擊率與商品統(tǒng)計點擊率比較ClientNative廣播渲染內(nèi)容視頻圖文智能交互的工作case)*:,9:0Query是顯示表征用戶需求的工具內(nèi)容query vs. 商品query用戶實時點擊 - 生成內(nèi)容query根據(jù)用戶行為算法設(shè)計基本思想：解析出屬性偏好，根據(jù)商品屬性生成一句內(nèi)容需求Query; = argmax (0:1|) 8 log 9 9?0, , 0:1內(nèi)容需求挖掘與用戶引導(dǎo)V embeddingK embeddingV encoderK encoderV attentionK attentioncontextdecoderl Input: (品類，連衣裙)，(材質(zhì)，雪紡)單純的V屬性導(dǎo)致屬性和品類詞是相等對待，造成缺少中心詞 問題，額外的K特征幫助減輕這一問題；同時也希望模型可以 學(xué)習(xí)到重要的屬