河北省2022年職業(yè)院校技能大賽“大數(shù)據(jù)技術(shù)與應用”（高職組）賽項樣卷

競賽時間、內(nèi)容及總成績（一）競賽時間競賽時間共為6小時，參賽隊自行安排任務進度，休息、飲水、如廁等不設專門用時，統(tǒng)一含在競賽時間內(nèi)。（二）競賽內(nèi)容概述序號任務名稱具體內(nèi)容任務一大數(shù)據(jù)平臺環(huán)境搭建按照大數(shù)據(jù)分析平臺需求，需要完成Hadoop完全分布式、Spark安裝配置、Flink安裝配置、Hive安裝配置、Kafka安裝配置、Flume安裝配置任務二離線數(shù)據(jù)抽取按照要求使用Scala語言完成特定函數(shù)的編寫，使用Spark抽取MySQL指定數(shù)據(jù)表中的新增的數(shù)據(jù)到ODS層的指定的分區(qū)表中任務三離線數(shù)據(jù)統(tǒng)計使用Scala語言編寫程序獲取ODS層指定分區(qū)表中的數(shù)據(jù)進行清洗，并完成銷量前5的商品統(tǒng)計、某月的總銷售額統(tǒng)計、指定月份的銷售額統(tǒng)計、各用戶在線總時長統(tǒng)計，并將統(tǒng)計后的數(shù)據(jù)存入MySQL數(shù)據(jù)庫中任務四數(shù)據(jù)采集與實時計算啟動業(yè)務系統(tǒng)，按照要求使用Flume將用戶操作日志采集并存入Kafka中并使用Flink、Scala消費Kafka中的數(shù)據(jù)將其進行聚合計算出商城在線人數(shù)，將結(jié)果存入Redis中，并統(tǒng)計該系統(tǒng)的UV與PV將結(jié)果存入MySQL中任務五數(shù)據(jù)可視化編寫前端Web界面，調(diào)用后臺數(shù)據(jù)接口，使用Vue.js、Echarts完成數(shù)據(jù)可視化任務六綜合分析報告根據(jù)要求編寫綜合分析報告（三）競賽總成績“大數(shù)據(jù)技術(shù)與應用”賽項競賽總成績?yōu)?00分，其中包含賽場職業(yè)素養(yǎng)5分。任務須知每組參賽隊分配一臺競賽服務器、三臺客戶機，擁有獨立IP組。本次比賽采用統(tǒng)一網(wǎng)絡環(huán)境比賽，請不要隨意更改客戶端的網(wǎng)絡地址信息，對于更改客戶端信息造成的問題，由參賽選手自行承擔比賽損失；請不要惡意破壞競賽環(huán)境，對于惡意破壞競賽環(huán)境的參賽者，組委會根據(jù)其行為予以處罰直至取消比賽資格。比賽過程中及時保存相關文檔。比賽相關文檔中不能出現(xiàn)參賽學校名稱和參賽選手名稱，以賽位號（工位號）代替。參賽選手請勿刪除模板內(nèi)容，若因刪除導致任何問題后果自負。若同一文檔由不同選手完成，須將文檔合并后作為最終結(jié)果提交到U盤中。比賽中出現(xiàn)各種問題及時向現(xiàn)場裁判舉手示意，不要影響其他參賽隊比賽。任務說明本項目要求完成離線電商數(shù)據(jù)統(tǒng)計分析，完成大數(shù)據(jù)平臺環(huán)境搭建、離線數(shù)據(jù)抽取、離線數(shù)據(jù)統(tǒng)計、數(shù)據(jù)采集與實時計算、數(shù)據(jù)可視化及綜合分析報告編寫等工作。提供的相關資源包括：大數(shù)據(jù)環(huán)境搭建中需要用到的組件安裝包電商相關數(shù)據(jù)大數(shù)據(jù)分析集群環(huán)境離線數(shù)據(jù)抽取開發(fā)環(huán)境離線數(shù)據(jù)統(tǒng)計開發(fā)環(huán)境數(shù)據(jù)采集與實時計算開發(fā)環(huán)境數(shù)據(jù)可視化開發(fā)環(huán)境綜合分析報告文檔模板任務一：大數(shù)據(jù)平臺環(huán)境搭建按照大數(shù)據(jù)分析平臺需求，需要完成Hadoop完全分布式、Spark安裝配置、Flink安裝配置、Hive安裝配置、Kafka安裝配置、Flume安裝配置。任務二：離線數(shù)據(jù)抽取按照要求使用Scala語言完成特定函數(shù)的編寫，使用Spark抽取MySQL指定數(shù)據(jù)表中的新增的數(shù)據(jù)到ODS層的指定的分區(qū)表中。任務三：離線數(shù)據(jù)統(tǒng)計使用Scala語言編寫程序獲取ODS層指定分區(qū)表中的數(shù)據(jù)進行清洗，并完成銷量前5的商品統(tǒng)計、某月的總銷售額統(tǒng)計、指定月份的銷售額統(tǒng)計、各用戶在線總時長統(tǒng)計，并將統(tǒng)計后的數(shù)據(jù)存入MySQL數(shù)據(jù)庫中。任務四：數(shù)據(jù)采集與實時計算啟動業(yè)務系統(tǒng)，按照要求使用Flume將用戶操作日志采集并存入Kafka中并使用Flink、Scala消費Kafka中的數(shù)據(jù)將其進行聚合計算出商城在線人數(shù)，將結(jié)果存入Redis中，并統(tǒng)計該系統(tǒng)的UV與PV將結(jié)果存入MySQL中。任務五：數(shù)據(jù)可視化編寫前端Web界面，調(diào)用后臺數(shù)據(jù)接口，使用Vue.js、Echarts完成數(shù)據(jù)可視化。任務六：綜合分析報告根據(jù)項目要求，完成綜合分析報告編寫。四、競賽結(jié)果提交要求（一）提交方式任務成果需拷貝至提供的U盤中。在U盤中以XX工位號建一個文件夾（例如01），將所有任務成果文檔保存至該文件夾中。（二）文檔要求競賽提交的所有文檔中不能出現(xiàn)參賽隊信息和參賽選手信息，競賽文檔需要填