計算廣告與大數(shù)據(jù)平臺方案

1、計算廣告與大數(shù)據(jù)平臺方案技術(shù)創(chuàng)新，變革未來大綱計算廣告與大數(shù)據(jù)360聚效廣告數(shù)據(jù)平臺如何應(yīng)對大規(guī)模流量思考與展望計算廣告簡介計算廣告學(xué)，顧名思義是計算驅(qū)勱廣告的學(xué)科，這是相對傳統(tǒng)的廣告而言的計算廣告學(xué)是一門以計算技術(shù)驅(qū)勱的廣告營銷科學(xué)傳統(tǒng)廣告紙媒廣告、電視廣告、墻體廣告受眾丌夠精準(zhǔn)，投放效果差計算廣告網(wǎng)絡(luò)受眾體量大，能夠做到精準(zhǔn)投放更加關(guān)注效果計算廣告簡介計算廣告平臺的目標(biāo)：在合適的媒體上下文場景下為廣告主找到合適的受眾，投放合適的廣告創(chuàng)意在廣告主、媒體、受眾的整個生態(tài)中的三方博弈中尋求三方共贏計算廣告平臺的收入途徑：通過優(yōu)化系統(tǒng)和算法提升RPM受眾媒體廣告主RPM pCTR CPC廣告主每次

2、點擊出價代表廣告主獲取流量付出的成本預(yù)估點擊率代表受眾點擊廣告的意愿用戶 + 廣告創(chuàng)意 + 媒體廣告位 + 上下文 = 是否點擊用戶基本屬性、行為標(biāo)簽、興趣標(biāo)簽、廣告內(nèi)容、 創(chuàng)意形式、廣告位頻道、 位置、地理位置、 時間0,1計算廣告與大數(shù)據(jù)大數(shù)據(jù)和大數(shù)據(jù)處理能力是計算廣告的基石龐大的數(shù)據(jù)量：上百億/天，TBPB級數(shù)據(jù)規(guī)模數(shù)據(jù)復(fù)雜度：非結(jié)構(gòu)化、零散稀疏對實時性的苛刻要求：線上競價 100ms以內(nèi)，離線學(xué)習(xí)模型盡快反哺線上涉及的大數(shù)據(jù)處理技術(shù)：大規(guī)模搜索和文本分析數(shù)據(jù)處理不ETL統(tǒng)計模型機(jī)器學(xué)習(xí)實時流計算360聚效廣告系統(tǒng)業(yè)務(wù)架構(gòu)流 量聚效DSP廣告檢索廣告匘配廣告排序CTR預(yù)估投放控制日志系統(tǒng)

3、日志收集日志消息隊列日志存儲計費模塊實時計算離線計算日志Session化 ETL反作弊 報表統(tǒng)計物料管理賬戶管理審核系統(tǒng)運營優(yōu)化分析系 統(tǒng)推廣管理廣告質(zhì)量優(yōu)化CTR模型受眾定向商品庫用戶畫像MAX流量分發(fā)平臺其他DSP平臺數(shù)據(jù)平臺Ganglia/Zabbix/SkyeyeadserverMySQLDBAeroSpikefeedbackscribeCamus日志收集dsplogexchangelogtrackinglog.dsplogexchangelogtrackinglog.parquetconvertersessionlogDW ODSantifraud/etl/.Hive DWDW ET

4、Lfeature-extractionmodel-trainingmodel-evaluationmodel-deployETLsqoop數(shù)據(jù)挖掘?qū)崟r計 算數(shù)據(jù)倉庫 報表分析BI/AnalysisreportingAzkaban數(shù)據(jù)平臺總體架構(gòu)我們的廣告我們目前的數(shù)據(jù)規(guī)模全網(wǎng)各大媒體，上億廣告位每天 200億次請求，20TB+ 原始日志量（極限壓縮后）集群規(guī)模：1000，存儲容量：35PB日均生產(chǎn)Job數(shù)：5000+，日處理數(shù)據(jù)量：800TB+2012CDH3100 Nodes2014CDH4.6200 Nodes2015遷移YARN600 Nodes2016CDH5.81000Nodes數(shù)據(jù)

5、平臺面臨的挑戰(zhàn)流量越來越多新業(yè)務(wù)流量的增加展示形式的變化實時性要求越來越高離線Job處理要準(zhǔn)時完成實時計算統(tǒng)計實時模型訓(xùn)練高可用和擴(kuò)展性的挑戰(zhàn)跨機(jī)房數(shù)據(jù)丌可接受單點易于擴(kuò)展，盡量丌停服的Scale out和升級大流量來了，怎么抗？新業(yè)務(wù)帶來新的流量新業(yè)務(wù)流量帶來的數(shù)據(jù)量增長廣告創(chuàng)業(yè)形式變化，流量暴漲廣告創(chuàng)意格子增加，帶來的數(shù)據(jù)量的膨脹集群線性擴(kuò)展服務(wù)器增加一倍，成本也會增加一倍LogAll is Log一切數(shù)據(jù)來源歸結(jié)到日志日志Schema的合理設(shè)計是后續(xù)數(shù)據(jù)處理的基石Thrift序列化，合理設(shè)計字段類型合理的數(shù)據(jù)結(jié)構(gòu)，減少冗余存儲日志合幵User1，context1,adslot1,impr

6、ession1 User1，context1,adslot1,impression2 User1，context1,adslot1,impression3 User2，context2,adslot2,impression1 User2，context2,adslot2,impression2User1，context1,adslot1,impression1,impression2,impression3 User2，context2,adslot2,impression1,impression2合理的日志存儲格式選擇合理的存儲格式TextBinaryParquet壓縮壓縮一定要開啟壓縮數(shù)據(jù)

7、壓縮Job產(chǎn)出壓縮LzoB64TextText容易解讀壓縮比很差LzoThriftBlockBlock壓縮比高裸的字節(jié)， 丌可讀Parquet列存儲壓縮比高有工具進(jìn)行 解析易于不Spark 集成05101520LzoB64Text LzoThriftBlockParquetDSP日志日均數(shù)據(jù)量（TB）從日志到數(shù)據(jù)倉庫MySQLKafka第三方數(shù)據(jù)數(shù)據(jù)集成數(shù)據(jù)獲取與報表倉庫建模與ETLrawlog/sessionlogparquet列存儲ODS基礎(chǔ)事實表/維度表HDFSHiveDWReport TableThriftServerRestServerDashboardSparkSQLODS: Pi

8、g - SparkSQLdsplog = LOAD /mvad/warehouse/ods/dsp/date=2016-11- 11/hour=00/type=*/* USING parquet.pig.ParquetLoader();A= FOREACH dsplog GENERATE vince, request.userAgentInfo.os, request.userAgentInfo.browser， 1;B = GROUP A BY (province, os, browser);C = FOREACH B GENERATE group, COUNT(A);STORE C INT

9、O /tmp/xxx;/ Create a DataFrame from Parquet filesval df = sqlContext.read.parquet(/mvad/warehouse/ods/dsp/date=2016- 11-11/hour=00/type=*)/ Using SparkSQLval table = df.registerTempTable(dsplog)val sql = select count(1) from dsplog group by vince, request.userAgentInfo.os, request.userAgentInfo.bro

10、wserval result = sqlContext.sql(sql) result.show()350300250200150100500PigSparkSQL運行時間（s）更高的實時性要求實時對廣告效果的影響系統(tǒng)實時化實時模型訓(xùn)練實時Sessionization實時計費實時反作弊全量日志，幾乎全量日志消耗Shuffle，大量讀IO消耗大量網(wǎng)絡(luò)IO全量日志離線MR Sessionization的瓶頸MapMapMapReduceReduceBid logshow logclick logTracking logsessionlogHDFSHDFSMR Job實時Sessionization

11、rowkeybidshowclicksession1bid1,bid2,bid3show1,show2click1session2bid1,bid2,bid3,bid4show1session3bid1,bid2show1,show2click1,click2原始日志實時消費， 寫入HBaseHBasesessionId作為rowkey，bid/show/click分別作為family，天然的session化過程Hbase的稀疏存儲模型，非常適合廣告業(yè)務(wù)數(shù)據(jù)實時的Session化數(shù)據(jù)，可直接用于實時計算模塊每天做一次Snapshot，用于離線計算Kafka離線Machine Learning依

12、賴sessionlog的產(chǎn)出，計算過程復(fù)雜冗長T+1，實效性差sessionlogfeature extractiontrainingsamplemodel trainingmodelmodel deployAd serverrawlogOnline Learning實時特征抽取， 寫入HBaseHBaseKafka用戶/廣告 特征競價曝光 日志發(fā)生點擊，寫 回KafkaTraningS ampleStormOnline TrainingAd Server模型更新Storm高可擴(kuò)展穩(wěn)定性可用性集群優(yōu)化跨機(jī)房丌同集群版本數(shù)據(jù)共享FederationHA參數(shù)優(yōu)化跨機(jī)房不同集群版本數(shù)據(jù)共享Hftp協(xié)議解決HDFS丌同版本之間的傳輸問題Cluster10.20版本Cluster2 cdh5.8版本hadoop distcp -m 100 -pbugp -skipcrccheck -update -delete hftp:/cluster2-namenode:50070/file hdfs:/cluster1-namenode:9000/fileHftp協(xié)議 distcp集群快速擴(kuò)容導(dǎo)致的節(jié)點間數(shù)據(jù)不均勻Balancer來丌及遷移數(shù)據(jù)導(dǎo)致的集群丌可用擴(kuò)容前85%85%85%85%擴(kuò)容后85%85%85%85%0%0%95%95%95%95%