人工智能數(shù)據(jù)服務(wù) 課件全套 項目一 任務(wù)1-1 認識人工智能數(shù)據(jù)服務(wù) - 項目五 數(shù)據(jù)可視化 任務(wù)3 Pyecharts數(shù)據(jù)可視

項目1

人工智能數(shù)據(jù)服務(wù)基礎(chǔ)《人工智能數(shù)據(jù)服務(wù)》學(xué)習(xí)引導(dǎo)任務(wù)11認識人工智能數(shù)據(jù)服務(wù)項目導(dǎo)入人工智能數(shù)據(jù)服務(wù)作為支持人工智能（AI）技術(shù)發(fā)展的關(guān)鍵環(huán)節(jié)，正在推動社會各個領(lǐng)域的深刻變革。人工智能數(shù)據(jù)服務(wù)不僅是推動AI技術(shù)進步的“燃料”，更是驅(qū)動社會數(shù)字化轉(zhuǎn)型的引擎。數(shù)據(jù)服務(wù)的質(zhì)量直接影響AI模型的性能和適應(yīng)性，從而對智能交互、無人駕駛、醫(yī)療健康等領(lǐng)域的成功應(yīng)用產(chǎn)生深遠影響。任務(wù)1認識人工智能數(shù)據(jù)服務(wù)1任務(wù)描

述任務(wù)導(dǎo)入知

識

準

備任務(wù)小

結(jié)任務(wù)實

施本次任務(wù)將認識人工智能數(shù)據(jù)服務(wù)的相關(guān)概念和應(yīng)用場景，并了解數(shù)據(jù)服務(wù)的行業(yè)發(fā)展。通過對人工智能數(shù)據(jù)服務(wù)的學(xué)習(xí)，我們不僅要掌握專業(yè)知識，更要深刻理解數(shù)據(jù)在國家科技自立自強中的重要性。任務(wù)

導(dǎo)

入任

務(wù)

描

述知

識

準

備任務(wù)小

結(jié)任務(wù)實

施任務(wù)名稱任務(wù)內(nèi)容任務(wù)1-1認識人工智能數(shù)據(jù)服務(wù)認識人工智能數(shù)據(jù)服務(wù)的定義、組成部分和應(yīng)用價值，熟悉人工智能數(shù)據(jù)服務(wù)的具體應(yīng)用場景。了解人工智能數(shù)據(jù)服務(wù)的行業(yè)發(fā)展，包括行業(yè)發(fā)展歷程、發(fā)展現(xiàn)狀、未來發(fā)展趨勢及機遇。掌握人工智能數(shù)據(jù)服務(wù)任務(wù)環(huán)境安裝，包含Anaconda、Pycharm的安裝，以及在Pycharm中配置Conda環(huán)境。任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.人工智能數(shù)據(jù)服務(wù)的定義1.1.1人工智能數(shù)據(jù)服務(wù)概念人工智能數(shù)據(jù)服務(wù)是指為AI算法的訓(xùn)練、驗證和優(yōu)化提供高質(zhì)量、結(jié)構(gòu)化數(shù)據(jù)的專業(yè)服務(wù)。在人工智能如火如荼的今天，算法、算力和數(shù)據(jù)是驅(qū)動這一技術(shù)革命的三駕馬車。任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施2.人工智能數(shù)據(jù)服務(wù)的組成部分1.1.1人工智能數(shù)據(jù)服務(wù)概念數(shù)據(jù)清洗特征工程模型評估與部署數(shù)據(jù)安全與隱私保護數(shù)據(jù)服務(wù)持續(xù)改進010203040506070809數(shù)據(jù)采集數(shù)據(jù)標(biāo)注模型訓(xùn)練與優(yōu)化數(shù)據(jù)可視化與解釋性任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施2.人工智能數(shù)據(jù)服務(wù)的組成部分1.1.1人工智能數(shù)據(jù)服務(wù)概念01數(shù)據(jù)采集

數(shù)據(jù)采集的主要任務(wù)是從各種渠道獲取與特定任務(wù)相關(guān)的數(shù)據(jù)，這些渠道包括互聯(lián)網(wǎng)爬蟲、傳感器、數(shù)據(jù)庫、日志文件、用戶反饋信息、API接口以及人工輸入等。

數(shù)據(jù)采集不僅需要考慮數(shù)據(jù)的數(shù)量，還要確保數(shù)據(jù)的多樣性和代表性，以避免模型訓(xùn)練中出現(xiàn)偏差。

數(shù)據(jù)采集的合法性和合規(guī)性也至關(guān)重要，特別是在涉及個人信息的情況下，需要嚴格遵守相關(guān)法律法規(guī)。任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施2.人工智能數(shù)據(jù)服務(wù)的組成部分1.1.1人工智能數(shù)據(jù)服務(wù)概念02數(shù)據(jù)清洗

原始數(shù)據(jù)往往包含噪聲、缺失值、重復(fù)值和異常值，這些問題會嚴重影響模型的性能。

常見的數(shù)據(jù)清洗操作包括去重、填補缺失值、修正異常值、統(tǒng)一數(shù)據(jù)格式和標(biāo)準化數(shù)據(jù)等。

清洗后的數(shù)據(jù)更為準確、整潔，能夠為后續(xù)的數(shù)據(jù)標(biāo)注、特征工程和模型訓(xùn)練提供堅實的基礎(chǔ)。任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施2.人工智能數(shù)據(jù)服務(wù)的組成部分1.1.1人工智能數(shù)據(jù)服務(wù)概念03數(shù)據(jù)標(biāo)注

數(shù)據(jù)標(biāo)注是將無標(biāo)簽的原始數(shù)據(jù)轉(zhuǎn)換為有標(biāo)簽數(shù)據(jù)的過程，它直接決定了模型的訓(xùn)練效果。

數(shù)據(jù)標(biāo)注可以涉及多種形式，如圖像中的目標(biāo)框選、文本中的情感分類、語音中的語義識別等。任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施2.人工智能數(shù)據(jù)服務(wù)的組成部分1.1.1人工智能數(shù)據(jù)服務(wù)概念04特征工程特征工程是從原始數(shù)據(jù)中提取出對模型訓(xùn)練有用的信息的過程。特征工程包括特征選擇、特征轉(zhuǎn)換和特征構(gòu)造等步驟。特征選擇是挑選出最具代表性和最相關(guān)的特征特征轉(zhuǎn)換是將特征數(shù)據(jù)轉(zhuǎn)換為更適合模型使用的形式（如歸一化、標(biāo)準化等）特征構(gòu)造是通過組合已有特征或創(chuàng)建新的特征來增強模型的學(xué)習(xí)能力。任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施2.人工智能數(shù)據(jù)服務(wù)的組成部分1.1.1人工智能數(shù)據(jù)服務(wù)概念05模型訓(xùn)練與優(yōu)化

模型訓(xùn)練是利用標(biāo)注數(shù)據(jù)對AI模型進行參數(shù)調(diào)整，使其能夠從數(shù)據(jù)中學(xué)習(xí)并執(zhí)行特定任務(wù)的過程。任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施2.人工智能數(shù)據(jù)服務(wù)的組成部分1.1.1人工智能數(shù)據(jù)服務(wù)概念06模型評估與部署

模型評估是檢驗?zāi)Ｐ驮趯嶋H任務(wù)中的表現(xiàn)的關(guān)鍵步驟。

通過測試集或交叉驗證，評估模型的準確性、召回率、精確率和F1值等指標(biāo)。

模型評估不僅關(guān)注模型在訓(xùn)練數(shù)據(jù)上的表現(xiàn)，更重視其在未見數(shù)據(jù)上的泛化能力。任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施2.人工智能數(shù)據(jù)服務(wù)的組成部分1.1.1人工智能數(shù)據(jù)服務(wù)概念07數(shù)據(jù)可視化與解釋性

數(shù)據(jù)可視化是將復(fù)雜的數(shù)據(jù)和模型結(jié)果通過圖表的形式呈現(xiàn)給用戶或決策者，使其能夠直觀理解數(shù)據(jù)的分布、模型的表現(xiàn)和預(yù)測結(jié)果。數(shù)據(jù)可視化不僅是數(shù)據(jù)分析的工具，還可以用于解釋AI模型的決策過程，幫助識別潛在的偏差和問題。任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施2.人工智能數(shù)據(jù)服務(wù)的組成部分1.1.1人工智能數(shù)據(jù)服務(wù)概念08數(shù)據(jù)安全與隱私保護數(shù)據(jù)安全涉及防止數(shù)據(jù)泄露、篡改和未經(jīng)授權(quán)的訪問，常見措施包括數(shù)據(jù)加密、訪問控制和日志審計等。隱私保護則主要針對涉及個人信息的數(shù)據(jù)，必須遵循數(shù)據(jù)保護法規(guī)（如GDPR，通用數(shù)據(jù)保護條例），并采用諸如數(shù)據(jù)匿名化、差分隱私等技術(shù)，確保在提供數(shù)據(jù)服務(wù)時不侵犯用戶隱私。任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施2.人工智能數(shù)據(jù)服務(wù)的組成部分1.1.1人工智能數(shù)據(jù)服務(wù)概念09數(shù)據(jù)服務(wù)持續(xù)改進人工智能數(shù)據(jù)服務(wù)并非一次性的工作，而是一個持續(xù)改進的過程。隨著AI模型的應(yīng)用和反饋的積累，數(shù)據(jù)服務(wù)團隊需要不斷優(yōu)化數(shù)據(jù)采集和處理流程，更新數(shù)據(jù)標(biāo)注標(biāo)準，改進特征工程方法，并根據(jù)實際業(yè)務(wù)需求調(diào)整模型訓(xùn)練和評估策略。任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施3.人工智能數(shù)據(jù)服務(wù)的價值1.1.1人工智能數(shù)據(jù)服務(wù)概念降低開發(fā)成本3通過提供優(yōu)質(zhì)的數(shù)據(jù)服務(wù)，可大幅減少AI模型在開發(fā)階段的反復(fù)調(diào)試與修改工作。1提升AI模型的精準度精確、完整且多樣性豐富的數(shù)據(jù)輸入，可提升AI模型訓(xùn)預(yù)測能力、降低模型的誤差率、提高其穩(wěn)定性?？s短AI模型的開發(fā)周期2經(jīng)過精細處理和高質(zhì)量標(biāo)注的數(shù)據(jù)，可提升模型訓(xùn)練的效率，減少數(shù)據(jù)準備階段的時間投入。4增強市場競爭力擁有豐富、精準數(shù)據(jù)的企業(yè)，可洞察市場趨勢，響應(yīng)客戶需求變化，在產(chǎn)品研發(fā)、服務(wù)優(yōu)化等方面搶占先機。任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.1.2人工智能數(shù)據(jù)服務(wù)的應(yīng)用場景人工智能數(shù)據(jù)服務(wù)應(yīng)用場景通用大模型教育行業(yè)安防行業(yè)交通行業(yè)金融行業(yè)醫(yī)療行業(yè)任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.1.2人工智能數(shù)據(jù)服務(wù)的應(yīng)用場景1.通用大模型中的應(yīng)用多模態(tài)數(shù)據(jù)的應(yīng)用（如圖像、視頻、語音等）可以使模型在處理復(fù)雜任務(wù)時更加高效和準確數(shù)據(jù)的多模態(tài)融合數(shù)據(jù)服務(wù)供應(yīng)商通過提供高質(zhì)量、有代表性的數(shù)據(jù)，幫助模型開發(fā)者定向優(yōu)化，使模型能夠更好地適應(yīng)特定場景的需求。模型能力的定向優(yōu)化大模型的評測離不開高質(zhì)量的數(shù)據(jù)服務(wù)。通過定期評測和數(shù)據(jù)更新，模型可以不斷迭代優(yōu)化，提升其在實際應(yīng)用中的表現(xiàn)。模型評測與迭代任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.1.2人工智能數(shù)據(jù)服務(wù)的應(yīng)用場景2.安防行業(yè)中的應(yīng)用多模態(tài)數(shù)據(jù)的應(yīng)用（如圖像、視頻、語音等）可以使模型在處理復(fù)雜任務(wù)時更加高效和準確大模型的評測離不開高質(zhì)量的數(shù)據(jù)服務(wù)。通過定期評測和數(shù)據(jù)更新，模型可以不斷迭代優(yōu)化，提升其在實際應(yīng)用中的表現(xiàn)。圖像識別

自動識別并追蹤目標(biāo)人物、車輛檢測異常行為，如入侵、打架、火災(zāi)等行為分析視頻數(shù)據(jù)分析人群的行為模式，識別潛在的危險行為身份驗證人臉識別技術(shù)在安防領(lǐng)域應(yīng)用廣泛，如門禁系統(tǒng)、銀行的身份驗證等任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.1.2人工智能數(shù)據(jù)服務(wù)的應(yīng)用場景3.金融行業(yè)中的應(yīng)用智能風(fēng)控

通過分析大量歷史交易數(shù)據(jù)和用戶行為數(shù)據(jù)，識別潛在的風(fēng)險客戶，預(yù)防欺詐行為的發(fā)生自動化交易自動化交易系統(tǒng)依賴于大量的歷史交易數(shù)據(jù)，以確保能夠?qū)崟r預(yù)測市場走勢并作出最佳交易決策客戶服務(wù)用于金融機構(gòu)的客戶服務(wù)，如智能客服系統(tǒng)。智能客服系統(tǒng)需要大量的語音和文本數(shù)據(jù)任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.1.2人工智能數(shù)據(jù)服務(wù)的應(yīng)用場景4.醫(yī)療行業(yè)中的應(yīng)用醫(yī)學(xué)影像分析

AI可以通過分析醫(yī)學(xué)影像數(shù)據(jù)，如X光片、CT掃描、MRI圖像等，協(xié)助醫(yī)生進行疾病診斷疾病診斷AI技術(shù)可以通過分析患者的電子健康記錄（EHR）、基因數(shù)據(jù)等，輔助疾病診斷和治療方案的制定藥物研發(fā)通過分析大量的化合物數(shù)據(jù)和臨床試驗數(shù)據(jù)，AI可以加速藥物研發(fā)的進程任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.1.2人工智能數(shù)據(jù)服務(wù)的應(yīng)用場景5.交通行業(yè)中的應(yīng)用智能交通管理AI可以通過分析交通數(shù)據(jù)，優(yōu)化交通流量，減少擁堵，提高交通效率。無人駕駛依賴于計算機視覺和傳感器融合技術(shù)，需要大量的圖像數(shù)據(jù)和傳感器數(shù)據(jù)。物流管理AI技術(shù)在物流管理中的應(yīng)用主要體現(xiàn)在路線優(yōu)化、倉儲管理、自動化配送等方面。任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.1.2人工智能數(shù)據(jù)服務(wù)的應(yīng)用場景6.教育行業(yè)中的應(yīng)用智能輔導(dǎo)系統(tǒng)可以用于開發(fā)智能輔導(dǎo)系統(tǒng)，通過分析學(xué)生的學(xué)習(xí)數(shù)據(jù)，提供個性化的學(xué)習(xí)建議和輔導(dǎo)方案。在線教育平臺在線教育平臺借助AI技術(shù)可以提供智能化的教學(xué)服務(wù)，如自動作業(yè)批改、知識點推薦等。個性化學(xué)習(xí)開發(fā)個性化學(xué)習(xí)系統(tǒng)，根據(jù)學(xué)生的學(xué)習(xí)風(fēng)格和進度，制定個性化的學(xué)習(xí)路徑。任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.1.3人工智能數(shù)據(jù)服務(wù)行業(yè)發(fā)展歷程技術(shù)落地與行業(yè)格局形成行業(yè)萌芽與資本熱潮技術(shù)革新與行業(yè)競爭壁壘構(gòu)建早期階段2016年-2018年01中期階段2019年-2022年02后期階段2023年至今任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.1.3人工智能數(shù)據(jù)服務(wù)行業(yè)發(fā)展歷程1.早期階段（2016年-2018年）：行業(yè)萌芽與資本熱潮數(shù)據(jù)服務(wù)行業(yè)以數(shù)據(jù)采集和標(biāo)注為核心業(yè)務(wù)數(shù)據(jù)采集通常包括圖片、文本、音頻等各種形式的原始數(shù)據(jù)的收集數(shù)據(jù)標(biāo)注是對這些數(shù)據(jù)進行分類、標(biāo)記或注釋，以便為機器學(xué)習(xí)模型提供標(biāo)準化的訓(xùn)練樣本這一時期的AI技術(shù)主要集中在計算機視覺和自然語言處理領(lǐng)域，圖像和文本數(shù)據(jù)的標(biāo)注需求尤為強烈數(shù)據(jù)在AI技術(shù)，尤其是深度學(xué)習(xí)中有重要作用。隨著AI公司在算法研究方面的不斷深入，數(shù)據(jù)的需求量也呈爆發(fā)式增長。2016年谷歌的阿爾法圍棋（AlphaGo）成功擊敗了圍棋世界冠軍李世石任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.1.3人工智能數(shù)據(jù)服務(wù)行業(yè)發(fā)展歷程2.中期階段（2019年-2022年）：技術(shù)落地與行業(yè)格局形成

2019年后，人工智能技術(shù)逐漸從實驗室研究轉(zhuǎn)向?qū)嶋H應(yīng)用

汽車、醫(yī)療、金融等領(lǐng)域成為人工智能技術(shù)落地的重要場景

到2022年，超過75%的AI企業(yè)集中在A輪融資階段，表明行業(yè)已逐漸成熟并進入規(guī)范化發(fā)展時期數(shù)據(jù)服務(wù)的種類和形式更加多樣化，除了基礎(chǔ)的數(shù)據(jù)采集和標(biāo)注服務(wù)外，行業(yè)開始出現(xiàn)更加復(fù)雜和定制化的數(shù)據(jù)解決方案。百度在2019年推出了“阿波羅自動駕駛技術(shù)”“百度數(shù)據(jù)眾包”平臺任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.1.3人工智能數(shù)據(jù)服務(wù)行業(yè)發(fā)展歷程3.后期階段（2023年至今）：技術(shù)革新與行業(yè)競爭壁壘構(gòu)建行業(yè)競爭促使數(shù)據(jù)服務(wù)商尋求差異化優(yōu)勢通過垂直化服務(wù)能力的提升，數(shù)據(jù)服務(wù)商可以針對不同行業(yè)提供更加專業(yè)和定制化的解決方案越來越多企業(yè)開始提供數(shù)據(jù)清洗、數(shù)據(jù)增強、數(shù)據(jù)隱私保護等增值服務(wù)2024年起，數(shù)據(jù)治理和數(shù)據(jù)產(chǎn)品化趨勢繼續(xù)加強，數(shù)據(jù)服務(wù)商將更加注重數(shù)據(jù)的發(fā)現(xiàn)性、可用性和合規(guī)性隨著AI技術(shù)的進一步成熟，傳統(tǒng)的數(shù)據(jù)標(biāo)注方式已無法滿足日益增長的數(shù)據(jù)處理需求。AI預(yù)標(biāo)注技術(shù)應(yīng)運而生，成為數(shù)據(jù)服務(wù)行業(yè)的關(guān)鍵技術(shù)。百度智能云：自動駕駛數(shù)據(jù)采集

標(biāo)注、自動化質(zhì)檢任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.1.4人工智能數(shù)據(jù)服務(wù)行業(yè)發(fā)展現(xiàn)狀1.人工智能數(shù)據(jù)服務(wù)行業(yè)市場規(guī)模2023年，中國AI數(shù)據(jù)服務(wù)市場規(guī)模達45億元；預(yù)計2028年，市場規(guī)模將達到170億元，復(fù)合增長率將高達30.4%

2022-2028年中國AI數(shù)據(jù)服務(wù)市場規(guī)模（數(shù)據(jù)來源：艾瑞咨詢研究院）供給側(cè)數(shù)據(jù)源獲取更加便捷數(shù)據(jù)工程技術(shù)、數(shù)據(jù)標(biāo)準規(guī)范、標(biāo)注方法日益成熟人才生態(tài)不斷完善服務(wù)軟件平臺自動化、流程化需求側(cè)小模型到大模型轉(zhuǎn)變，通用泛化能力的大模型正逐漸成為主大量高質(zhì)量、多模態(tài)的數(shù)據(jù)需求AI技術(shù)應(yīng)用成果帶來良好的商業(yè)回報，進一步刺激了需求側(cè)對基礎(chǔ)數(shù)據(jù)的投入任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.1.4人工智能數(shù)據(jù)服務(wù)行業(yè)發(fā)展現(xiàn)狀2.人工智能數(shù)據(jù)服務(wù)行業(yè)產(chǎn)業(yè)鏈上游主要由數(shù)據(jù)生產(chǎn)者及產(chǎn)能資源構(gòu)成生產(chǎn)者包括各種數(shù)據(jù)生成源，如互聯(lián)網(wǎng)平臺、物聯(lián)網(wǎng)設(shè)備、社交媒體等，通過各種渠道提供原始數(shù)據(jù)產(chǎn)能資源特別是人力資源扮演著關(guān)鍵角色。數(shù)據(jù)標(biāo)注員和審核員是這個環(huán)節(jié)中的核心中國人工智能數(shù)據(jù)服務(wù)行業(yè)產(chǎn)業(yè)圖譜（數(shù)據(jù)來源：艾瑞咨詢研究院）任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.1.4人工智能數(shù)據(jù)服務(wù)行業(yè)發(fā)展現(xiàn)狀2.人工智能數(shù)據(jù)服務(wù)行業(yè)產(chǎn)業(yè)鏈中國人工智能數(shù)據(jù)服務(wù)行業(yè)產(chǎn)業(yè)圖譜（數(shù)據(jù)來源：艾瑞咨詢研究院）中游環(huán)節(jié)是行業(yè)的核心，即數(shù)據(jù)標(biāo)注及其他數(shù)據(jù)服務(wù)供應(yīng)商供應(yīng)商根據(jù)下游需求方的要求，對上游提供的數(shù)據(jù)進行加工、標(biāo)注，并提供相應(yīng)的服務(wù)，幫助AI模型的訓(xùn)練和優(yōu)化任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.1.4人工智能數(shù)據(jù)服務(wù)行業(yè)發(fā)展現(xiàn)狀2.人工智能數(shù)據(jù)服務(wù)行業(yè)產(chǎn)業(yè)鏈中國人工智能數(shù)據(jù)服務(wù)行業(yè)產(chǎn)業(yè)圖譜（數(shù)據(jù)來源：艾瑞咨詢研究院）下游是AI數(shù)據(jù)服務(wù)的需求發(fā)起者，包括科技公司、行業(yè)企業(yè)、AI公司、科研單位等科技公司和AI企業(yè)通過數(shù)據(jù)服務(wù)，不斷優(yōu)化其AI模型，以應(yīng)對復(fù)雜的場景和需求行業(yè)企業(yè)和科研單位借助AI技術(shù)，實現(xiàn)技術(shù)革新和科研突破任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.1.4人工智能數(shù)據(jù)服務(wù)行業(yè)發(fā)展現(xiàn)狀3.人工智能數(shù)據(jù)服務(wù)行業(yè)市場結(jié)構(gòu)需求方自建團隊大型科技企業(yè)和云服務(wù)廠商更傾向于通過自建團隊來滿足其內(nèi)部數(shù)據(jù)服務(wù)需求自建團隊不僅能夠更好地控制數(shù)據(jù)的質(zhì)量與安全，還能更快速地響應(yīng)內(nèi)部的算法迭代需求品牌數(shù)據(jù)服務(wù)商品牌服務(wù)商往往具備更強的技術(shù)能力和更豐富的數(shù)據(jù)資源，能夠為AI開發(fā)企業(yè)提供更專業(yè)和全面的數(shù)據(jù)服務(wù)這些數(shù)據(jù)服務(wù)往往由其云服務(wù)業(yè)務(wù)線、算法研發(fā)團隊，以及外部的品牌數(shù)據(jù)服務(wù)商來共同完成中小數(shù)據(jù)服務(wù)商由于市場競爭的加劇以及大規(guī)模數(shù)據(jù)標(biāo)注項目對服務(wù)能力要求的提升，市場份額大幅下滑2023年中國AI數(shù)據(jù)服務(wù)供給方的市場結(jié)構(gòu)（數(shù)據(jù)來源：艾瑞咨詢研究院）任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.1.5人工智能數(shù)據(jù)服務(wù)行業(yè)未來趨勢及機遇人工智能數(shù)據(jù)服務(wù)行業(yè)發(fā)展趨勢與機遇需求向垂直化方向過渡人機協(xié)作發(fā)展趨勢向自然語言類需求滲透任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.1.5人工智能數(shù)據(jù)服務(wù)行業(yè)未來趨勢及機遇1.人工智數(shù)據(jù)服務(wù)需求將向垂直化方向過渡研發(fā)初期訓(xùn)練階段應(yīng)用階段對數(shù)據(jù)量有較大需求，而對數(shù)據(jù)質(zhì)量要求相對較低，更注重模型的構(gòu)建和初步驗證，數(shù)據(jù)的多樣性和廣泛性更重要對于已標(biāo)注數(shù)據(jù)的需求顯著增加。同時，隨著訓(xùn)練要求的提升，對數(shù)據(jù)采集和標(biāo)注的精確度也有了更高的要求AI技術(shù)已經(jīng)趨于成熟，需要的數(shù)據(jù)服務(wù)也更為專業(yè)和細致。所需的數(shù)據(jù)需要更加貼近具體的業(yè)務(wù)場景，以提供更具針對性的垂直化數(shù)據(jù)服務(wù)任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.1.5人工智能數(shù)據(jù)服務(wù)行業(yè)未來趨勢及機遇2.數(shù)據(jù)服務(wù)需求逐步向自然語言類需求滲透圖像類數(shù)據(jù)需求在國內(nèi)市場占據(jù)主導(dǎo)地位相對成熟的美國市場，自然語言處理（NLP）需求已成為主導(dǎo)隨著國內(nèi)AI技術(shù)的不斷進步，AI基礎(chǔ)數(shù)據(jù)服務(wù)需求也將逐步向自然語言類需求滲透。任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.1.5人工智能數(shù)據(jù)服務(wù)行業(yè)未來趨勢及機遇3.人機協(xié)作為行業(yè)發(fā)展趨勢正式采標(biāo)階段采標(biāo)員需要對圖像數(shù)據(jù)中的目標(biāo)元素進行精準標(biāo)注。通過AI技術(shù)，圖像數(shù)據(jù)可以進行自動的場景分割、物體識別和人臉識別，語音數(shù)據(jù)則可以借助語音識別和自然語言處理技術(shù)進行初步處理，完成自動標(biāo)注后再由人工進行二次校對。數(shù)據(jù)質(zhì)檢環(huán)節(jié)人工抽檢通常因準確率、成本控制和時效性存在不足。AI技術(shù)通過計算機視覺和語音識別，對采集到的數(shù)據(jù)進行初步識別，能夠在短時間內(nèi)實現(xiàn)高達90%以上的校驗正確率。任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.安裝Anaconda2.安裝PyCharm3.在PyCharm中配置Conda環(huán)境1.1.6環(huán)境安裝項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟一安裝Anaconda(1)訪問Anaconda官方網(wǎng)站，定位至免費下載頁面。若頁面提示郵箱注冊，可選擇“SkipRegistration”快速跳過注冊流程。隨后，根據(jù)您的操作系統(tǒng)選擇合適的Anaconda版本安裝包進行下載。如果下載速度緩慢，推薦使用國內(nèi)高速鏡像源，即清華大學(xué)開源軟件鏡像:/anaconda/archive/在此頁面選擇合適的版本，例如Anaconda3-2024.06-1-Windows-x86_64.exe。項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟一安裝Anaconda(2)

雙擊下載的Anaconda安裝包（例如Anaconda3-2024.06-1-Windows-x86_64.exe），運行安裝程序，在安裝向?qū)醉?，點擊“Next”按鈕繼續(xù)安裝流程。（3）在彈出的LicenseAgreement對話框中，單擊“IAgree”以繼續(xù)安裝。項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟一安裝Anaconda（4）在彈出的SelectInstallationType對話框中，可默認選擇“JustMe”，單擊“Next”按鈕。（5）在彈出的ChooseinstallLocation對話框中，可默認選擇安裝路徑“DestinationFolder”（建議使用默認安裝路徑），確保安裝空間，單擊“Next”按鈕。項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟一安裝Anaconda（6）在彈出的AdvancedinstallationOptions對話框中，勾選第二個和第三個復(fù)選框，設(shè)置環(huán)境變量及默認的Python啟動程序，單擊“Install”按鈕，等待安裝成功。（7）在彈出的對話框中，等待安裝過程，安裝進度完成后單擊“Next”按鈕。項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟一安裝Anaconda（8）在彈出的完成設(shè)置對話窗口中，取消勾選第一個和第二個復(fù)選框，單擊“Finish”按鈕，結(jié)束安裝（9）安裝結(jié)束后，在開始菜單中，找到已經(jīng)安裝好的Anaconda，會有如下幾個工具，說明安裝成功項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟二安裝PyCharm（1）訪問JetBrains公司的官方網(wǎng)站，導(dǎo)航至PyCharm的下載頁面

/pycharm/download/，滾動頁面找到“PyCharmCommunityEdition”這一社區(qū)免費版本，隨后點擊“Download”按鈕進行下載。（2）下載完成后，安裝包如圖所示。（3）雙擊安裝程序，如果有驗證信息選擇“是”，彈出安裝向?qū)Вc擊“下一步（N）”。項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟二安裝PyCharm（4）選擇安裝位置?？蛇x擇默認目錄；也可自選安裝目錄。點擊“下一步（N）”繼續(xù)。項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟二安裝PyCharm（5）配置安裝選項。勾選“創(chuàng)建桌面快捷方式”和“更新PATH變量”，點擊“下一步（N）”繼續(xù)。（6）在“選擇開始菜單目錄”直接點擊“安裝”按鈕。安裝完成，點擊“完成”按鈕，退出安裝向?qū)?。?/p>

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟三在PyCharm中配置Conda環(huán)境（1）在“開始菜單”中查找并打開“AnacondaPrompt”終端。隨后，在終端界面中輸入指令“condacreate--nameDataSerpython=3.8”，使用conda創(chuàng)建一個名為“DataSer”的新環(huán)境。（2）進入安裝包確認流程，鍵盤上鍵入“y”并按回車鍵，表示同意并開始安裝環(huán)境。項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟三在PyCharm中配置Conda環(huán)境（3）當(dāng)終端顯示“done”時，表示環(huán)境已成功安裝，此時，系統(tǒng)會提示激活環(huán)境指令。（4）關(guān)閉當(dāng)前終端，并重新打開一個新的終端。然后，輸入指令condaactivateDataSer來激活名為“DataSer”的環(huán)境。成功激活后，命令行首部將變?yōu)椤?DataSer)”，這表示已成功進入“DataSer”環(huán)境。項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟三在PyCharm中配置Conda環(huán)境（5）打開Pycharm進行環(huán)境配置。點擊“NewProject”以創(chuàng)建一個新項目。（6）進入項目創(chuàng)建及環(huán)境配置頁面，首先指定項目名稱（例如“test”）和項目位置（例如“D:\人工智能數(shù)據(jù)服務(wù)”）。然后，將編譯器類型設(shè)置為“Customenvironment”，并從“SelectExisting”中選擇“Conda”作為環(huán)境類型。在環(huán)境下拉列表中找到并選中之前創(chuàng)建的“DataSer”環(huán)境。最后，點擊“Create”按鈕以創(chuàng)建新項目項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟三在PyCharm中配置Conda環(huán)境（7）創(chuàng)建Python文件并運行測試代碼。將鼠標(biāo)移動到項目名稱上，右鍵單擊，在出現(xiàn)的菜單中選擇“New”下的“PythonFile”選項。隨后，為新文件命名（例如“test”）。項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟三在PyCharm中配置Conda環(huán)境（8）進入“test.py”文件后，輸入以下代碼：print("歡迎學(xué)習(xí)人工智能數(shù)據(jù)服務(wù)課程！")點擊“

”運行代碼（9）運行結(jié)果如下圖所示，表明環(huán)境配置成功且項目代碼已正確運行。項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)知

識

準

備本節(jié)主要介紹了人工智能數(shù)據(jù)服務(wù)的概念、廣泛應(yīng)用場景及其發(fā)展歷程與未來趨勢。首先，深入闡述了人工智能數(shù)據(jù)服務(wù)的定義，即該服務(wù)為AI模型的開發(fā)、訓(xùn)練、驗證和優(yōu)化提供全方位的數(shù)據(jù)支持，覆蓋數(shù)據(jù)采集、標(biāo)注、清洗到信息抽取等多個關(guān)鍵環(huán)節(jié)，是確保AI模型在各種任務(wù)中表現(xiàn)優(yōu)異的基礎(chǔ)。通過學(xué)習(xí)其在自動駕駛、智能客服、醫(yī)療診斷等應(yīng)用場景中的實踐案例，認識到數(shù)據(jù)服務(wù)在推動AI技術(shù)落地中的核心價值，為不同領(lǐng)域的AI應(yīng)用提供了強大支持。其次，熟悉人工智能數(shù)據(jù)服務(wù)行業(yè)從萌芽、經(jīng)歷資本熱潮，到技術(shù)落地、行業(yè)格局形成，再到持續(xù)發(fā)展與創(chuàng)新的發(fā)展歷程。最后，介紹本教材中主要用到的軟件安裝步驟，包括Anaconda和Pycharm的安裝，為后續(xù)的任務(wù)預(yù)備環(huán)境。任務(wù)實

施項目2

數(shù)據(jù)采集《人工智能數(shù)據(jù)服務(wù)》學(xué)習(xí)引導(dǎo)任務(wù)3數(shù)據(jù)存儲與加載1任務(wù)2端側(cè)數(shù)據(jù)采集1任務(wù)11網(wǎng)絡(luò)數(shù)據(jù)采集項目導(dǎo)入

隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，我們生活在一個數(shù)據(jù)驅(qū)動的時代。數(shù)據(jù)采集作為信息處理的第一步，對于理解世界、指導(dǎo)決策具有至關(guān)重要的作用。設(shè)想一個城市交通管理中心，需要實時監(jiān)控和分析交通流量，以優(yōu)化交通信號燈的控制，減少擁堵，提高道路使用效率。通過在關(guān)鍵路口安裝傳感器和攝像頭，收集車輛流量、速度、事故等數(shù)據(jù)，管理中心能夠?qū)崟r了解交通狀況，并做出相應(yīng)的調(diào)整。項目導(dǎo)入數(shù)據(jù)采集不僅是一項技術(shù)活動，更是城市管理者服務(wù)社會、提高公共福祉的體現(xiàn)。然而，在智能交通系統(tǒng)的場景中，數(shù)據(jù)的準確性和公正性對于交通管理至關(guān)重要，這要求我們在數(shù)據(jù)采集和處理過程中保持誠信，對數(shù)據(jù)負責(zé)，確保信息的真實性和可靠性。項目導(dǎo)入通過本章節(jié)的學(xué)習(xí)，學(xué)生不僅能夠掌握數(shù)據(jù)采集的技術(shù)知識，更能夠在思想上得到提升，學(xué)會如何在數(shù)據(jù)采集的實踐中堅持社會主義核心價值觀，培養(yǎng)成為具有社會責(zé)任感和專業(yè)素養(yǎng)的新時代青年。通過實際應(yīng)用場景的學(xué)習(xí)和討論，學(xué)生將更加深刻地理解數(shù)據(jù)采集在社會發(fā)展中的作用，以及作為數(shù)據(jù)采集者應(yīng)承擔(dān)的社會責(zé)任。任務(wù)1網(wǎng)絡(luò)數(shù)據(jù)采集1任務(wù)描

述任務(wù)導(dǎo)入知

識

準

備任務(wù)小

結(jié)任務(wù)實

施在數(shù)字化浪潮中，網(wǎng)絡(luò)數(shù)據(jù)采集成為企業(yè)獲取關(guān)鍵信息、優(yōu)化決策的重要工具。然而，網(wǎng)絡(luò)信息的復(fù)雜性和海量性使得數(shù)據(jù)采集工作變得異常艱巨。因此，實施高效、精準的網(wǎng)絡(luò)數(shù)據(jù)采集方案至關(guān)重要。通過采用先進的爬蟲技術(shù)，自動抓取多源數(shù)據(jù)，并經(jīng)過清洗、整理和分析，為用戶提供結(jié)構(gòu)化、可視化的數(shù)據(jù)支持。任務(wù)

導(dǎo)

入任

務(wù)

描

述知

識

準

備任務(wù)小

結(jié)任務(wù)實

施本任務(wù)將采用多種網(wǎng)絡(luò)爬蟲技術(shù)，爬取房屋租賃網(wǎng)站上4個頁面的房源信息數(shù)據(jù)，并將爬取到的數(shù)據(jù)保存到本地當(dāng)中，其中房源信息包括房源封面照片、戶型、面積等任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施網(wǎng)絡(luò)爬蟲的基本原理：發(fā)送請求接收響應(yīng)解析網(wǎng)頁存儲數(shù)據(jù)循環(huán)抓取與調(diào)度2.1.1網(wǎng)絡(luò)爬蟲的基本原理及基本庫的使用爬蟲類型具體內(nèi)容通用網(wǎng)絡(luò)爬蟲該類爬蟲目標(biāo)是整個互聯(lián)網(wǎng)，采用深度優(yōu)先或廣度優(yōu)先等策略遍歷網(wǎng)頁，構(gòu)建搜索引擎的索引庫，如百度。聚焦網(wǎng)絡(luò)爬蟲專注于特定主題或領(lǐng)域的爬蟲，只爬取與主題相關(guān)的網(wǎng)頁，用于提高特定領(lǐng)域搜索的準確性和效率。增量式網(wǎng)絡(luò)爬蟲定期檢查并只爬取新產(chǎn)生或更新的網(wǎng)頁，減少重復(fù)工作量，節(jié)省資源，提供更實時的信息。深層網(wǎng)絡(luò)爬蟲模擬用戶填寫表單，獲取需要特定輸入才能訪問的網(wǎng)頁數(shù)據(jù)，用于深入分析和挖掘隱藏數(shù)據(jù)。任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施2.基本庫的使用2.1.1網(wǎng)絡(luò)爬蟲的基本原理及基本庫的使用爬蟲庫或框架具體內(nèi)容requests庫用于發(fā)送HTTP請求。requests庫提供了簡單易用的API，支持GET、POST、PUT、DELETE等多種請求方法，并且可以方便地設(shè)置請求頭、請求體等參數(shù)。BeautifulSoup庫用于解析HTML或XML文檔，提取出標(biāo)簽、屬性、文本等信息。BeautifulSoup將復(fù)雜的HTML文檔轉(zhuǎn)換成一個嵌套的Python對象，使得信息提取變得簡單直觀。Scrapy框架一個高級的Python爬蟲框架，提供了完整的爬蟲開發(fā)流程，包括發(fā)送請求、解析網(wǎng)頁、存儲數(shù)據(jù)等。Scrapy還提供了豐富的擴展插件和中間件，支持異步IO、分布式爬取等功能。importrequestsurl=''#可修改為具體的網(wǎng)頁headers={'User-Agent':'My-Crawler'}#請求頭response=requests.get(url,headers=headers)ifresponse.status_code==200:print(response.text)簡單使用frombs4importBeautifulSouphtml_doc="""<html><head><title>TestPage</title></head><body><p>Thisisatestparagraph.</p></body></html>"""#網(wǎng)頁文本soup=BeautifulSoup(html_doc,'html.parser')#解析網(wǎng)頁title=soup.title.stringparagraph=soup.p.string項

目

導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.網(wǎng)頁的主要構(gòu)成在數(shù)字化時代，網(wǎng)頁是信息傳遞與交互的重要載體。一個完整的網(wǎng)頁不僅僅是文字和圖片的堆砌，它由多個部分協(xié)同工作，共同構(gòu)建出豐富、互動的用戶體驗。2.1.2網(wǎng)頁前端基礎(chǔ)構(gòu)成具體內(nèi)容內(nèi)容網(wǎng)頁的核心，包括文字、圖片、視頻和音頻等，旨在傳遞有價值的信息和服務(wù)，決定網(wǎng)站的風(fēng)格和定位結(jié)構(gòu)網(wǎng)頁的框架，通過HTML標(biāo)簽定義內(nèi)容的排列和邏輯，如標(biāo)題、段落等，影響用戶獲取信息的效率樣式網(wǎng)頁的視覺表現(xiàn)，利用CSS調(diào)整布局、顏色和字體，提升網(wǎng)頁的美觀度和吸引力行為網(wǎng)頁的交互性，通過JavaScript實現(xiàn)動態(tài)效果，如表單驗證和數(shù)據(jù)加載，增強用戶體驗元數(shù)據(jù)網(wǎng)頁的后臺信息，包括標(biāo)題、描述和關(guān)鍵詞，對搜索引擎優(yōu)化和網(wǎng)頁顯示至關(guān)重要項

目

導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施2.HTML語言基礎(chǔ)HTML，全稱超文本標(biāo)記語言，是構(gòu)建網(wǎng)頁的基石。HTML，作為構(gòu)建網(wǎng)頁的基石，通過一系列標(biāo)簽和元素定義網(wǎng)頁的結(jié)構(gòu)和內(nèi)容。2.1.2網(wǎng)頁前端基礎(chǔ)常用標(biāo)簽如標(biāo)題（h1-h6）、段落（p）、鏈接（a）、圖片（img）、列表（ul、ol、li）和表格（table、tr、td）等，用于構(gòu)建網(wǎng)頁的不同部分。HTML標(biāo)簽還支持屬性，如href、src、class和id，以提供額外信息或定義行為。此外，HTML語義化強調(diào)使用有明確含義的標(biāo)簽，提升網(wǎng)頁可讀性、可訪問性和SEO優(yōu)化。項

目

導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.使用Requests發(fā)送HTTP請求requests庫是一個用于發(fā)送HTTP請求的Python庫，它簡化了HTTP請求的發(fā)送過程。2.1.3構(gòu)建爬蟲requests.get(url,params=None,**kwargs):發(fā)送GET請求。url是請求的URL，params是一個字典，包含要添加到URL中的查詢參數(shù)。requests.post(url,data=None,json=None,**kwargs):發(fā)送POST請求。data是一個字典或字節(jié)串，包含要發(fā)送的表單數(shù)據(jù)；json是一個字典，將被序列化為JSON格式后發(fā)送。response.status_code:響應(yīng)的狀態(tài)碼，如200表示成功，404表示未找到頁面。response.text:響應(yīng)的文本內(nèi)容，以字符串形式返回。項

目

導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施2.使用BeautifulSoup解析HTMLBeautifulSoup是一個Python庫，用于解析HTML和XML文檔，創(chuàng)建解析樹，并提供方便的方法來遍歷和搜索這些樹。2.1.3構(gòu)建爬蟲BeautifulSoup庫中的select函數(shù)是使用CSS選擇器從HTML文檔中選擇元素的主要方法。其基本語法是：result_set=soup.select(selector)，其中soup是BeautifulSoup對象，selector是一個字符串，表示要選擇的元素的CSS選擇器。項

目

導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施3.使用使用正則表達式提取信息正則表達式是一種強大的文本處理工具，通過定義模式來匹配、查找和替換文本中的特定內(nèi)容。2.1.3構(gòu)建爬蟲re.match(pattern,string,flags=0):從字符串的起始位置匹配一個模式，如果不是起始位置匹配成功的話，match()就返回None。re.search(pattern,string,flags=0):掃描整個字符串并返回第一個成功的匹配。re.findall(pattern,string,flags=0):在字符串中找到正則表達式所匹配的所有子串，并返回一個包含這些子串的列表。項

目

導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施3.使用Lxml和XPath提取信息Lxml是一個用于處理XML和HTML文檔的Python庫，它結(jié)合了libxml2和libxslt的功能，為開發(fā)者提供了強大的解析和搜索能力。2.1.3構(gòu)建爬蟲XPath使用路徑表達式來選取XML文檔中的節(jié)點或節(jié)點集。這些路徑表達式和我們在常規(guī)的計算機文件系統(tǒng)中看到的表達式非常相似。XPath通過元素名或?qū)傩悦麃磉x擇節(jié)點，如div表示選擇所有<div>元素。同時，還可以使用/來選擇子節(jié)點，如div/p表示選擇所有<div>元素下的<p>子元素；使用//來選擇后代節(jié)點，不論層級，如//a表示選擇文檔中的所有<a>元素；使用@來選擇屬性，如a/@href表示選擇所有<a>元素的href屬性。項

目

導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.爬蟲協(xié)議爬蟲協(xié)議，也稱為robots.txt協(xié)議，是網(wǎng)站通過robots.txt文件向爬蟲程序（如搜索引擎爬蟲）發(fā)出的訪問規(guī)則。這個文件告訴爬蟲哪些頁面可以訪問，哪些頁面不能訪問。2.1.4爬蟲的協(xié)議與道德、法律robots.txt文件的位置：通常位于網(wǎng)站的根目錄下，例如/robots.txt。robots.txt的內(nèi)容：該文件使用簡單的文本格式，通過User-agent和Disallow指令來定義規(guī)則。User-agent指定了規(guī)則適用的爬蟲程序，Disallow則指定了禁止訪問的路徑。項

目

導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施2.爬蟲道德爬蟲道德主要涉及對目標(biāo)網(wǎng)站的尊重和保護，以及合理使用爬取的數(shù)據(jù)。2.1.4爬蟲的協(xié)議與道德、法律尊重網(wǎng)站權(quán)益：爬蟲應(yīng)遵守網(wǎng)站的robots.txt協(xié)議，不爬取禁止訪問的頁面。同時，避免對網(wǎng)站造成過大的訪問壓力，影響網(wǎng)站的正常運行。保護用戶隱私：在爬取過程中，避免收集用戶的個人信息或敏感數(shù)據(jù)，尊重用戶的隱私權(quán)。合理使用數(shù)據(jù)：爬取的數(shù)據(jù)應(yīng)僅用于合法、合規(guī)的目的，不得用于侵犯他人權(quán)益或進行非法活動。同時，對于爬取的數(shù)據(jù)，應(yīng)注明來源，尊重原作者的版權(quán)。項

目

導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施3.爬蟲法律爬蟲活動涉及的法律問題主要包括版權(quán)法、反不正當(dāng)競爭法、計算機信息網(wǎng)絡(luò)國際聯(lián)網(wǎng)管理暫行規(guī)定等。2.1.4爬蟲的協(xié)議與道德、法律未經(jīng)原作者授權(quán)，擅自使用或傳播這些數(shù)據(jù)可能構(gòu)成侵權(quán)行為。利用爬蟲進行惡意競爭，如爬取競爭對手的數(shù)據(jù)用于不正當(dāng)競爭行為，可能違反反不正當(dāng)競爭法。爬蟲活動應(yīng)遵守國家關(guān)于計算機信息網(wǎng)絡(luò)管理的相關(guān)規(guī)定，不得進行非法入侵、破壞網(wǎng)絡(luò)安全等行為。項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備網(wǎng)絡(luò)數(shù)據(jù)采集的任務(wù)工單如下表：班級：組別：姓名：掌握程度：任務(wù)名稱租賃網(wǎng)站住房信息爬取任務(wù)目標(biāo)將網(wǎng)絡(luò)上的住房信息爬取下來，并打印出來爬取數(shù)據(jù)住房封面圖片、住房價格、面積等工具清單Python、requests、BeautifulSoup、Lxml操作步驟1.

網(wǎng)絡(luò)數(shù)據(jù)采集環(huán)境搭建：利用Anconda3配置python的版本、安裝相關(guān)的數(shù)據(jù)爬取模塊。2.

構(gòu)建住房信息爬蟲：利用配置好的數(shù)據(jù)采集環(huán)境，構(gòu)建網(wǎng)絡(luò)爬蟲代碼。3.

將爬取到的住房信息數(shù)據(jù)打印或顯示出來考核標(biāo)準1.實現(xiàn)與性能：

[協(xié)議支持，網(wǎng)頁抓取能力]2.穩(wěn)定性和可靠性：

[長時間穩(wěn)定運行]3.數(shù)據(jù)質(zhì)量：[數(shù)據(jù)準確性，數(shù)據(jù)完整性，數(shù)據(jù)一致性]4.合規(guī)性與道德標(biāo)準：[遵守robots.txt協(xié)議，保護用戶隱私，尊重版權(quán)]項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟一網(wǎng)絡(luò)數(shù)據(jù)采集環(huán)境搭建pipinstallrequests-i/simplepipinstallbs4-i/simple項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟一網(wǎng)絡(luò)數(shù)據(jù)采集環(huán)境搭建pipinstalllxml-i/simple項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟二網(wǎng)絡(luò)爬蟲構(gòu)建初始化虛擬環(huán)境切換后的虛擬環(huán)境

1.

打開Pycharm，切換虛擬環(huán)境打開Pycharm之后需要確認當(dāng)前python解析器是否是上面創(chuàng)建的虛擬環(huán)境Web_crawler中的解析器，如果不是則需要進行切換項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟二網(wǎng)絡(luò)爬蟲構(gòu)建

2.爬蟲代碼構(gòu)建利用requests和BeautifulSoup

編寫爬蟲代碼defget_links(url):#接收參數(shù)：每個房源列表頁的urli=0wb_data=requests.get(url,headers=headers)soup=BeautifulSoup(wb_data.text,'lxml')links=soup.select('div.list-main-header.clearfix>a')#獲取每個房源詳情頁的a標(biāo)記，得到a標(biāo)記列表，可以找到詳情頁的urlforlinkinlinks:href=link.get('href')#tag的get函數(shù)，獲取a標(biāo)記href的屬性值，即可獲取詳情頁urlhref=''+hreftime.sleep(2)get_info(href)#調(diào)用get_info函數(shù)，參數(shù)為詳情頁url項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟二網(wǎng)絡(luò)爬蟲構(gòu)建

2.爬蟲代碼構(gòu)建利用requests和BeautifulSoup

編寫爬蟲代碼具體流程如下：1)

導(dǎo)入需要的模塊：requests、BeautifulSoup和time。2)

設(shè)置請求頭信息，模擬瀏覽器進行網(wǎng)頁訪問。3)

定義了一個函數(shù)get_links(url)用于獲取每個房源列表頁的詳細鏈接地址，然后調(diào)用get_info(url)函數(shù)，獲取每個房源的詳細信息。4)

定義了一個函數(shù)get_info(url)用于獲取房源的詳細信息，包括房源名稱、戶型、價格、面積、經(jīng)紀人電話和封面圖片。同時將封面圖片保存到本地。在__main__部分，構(gòu)造了要爬取的房源列表頁的url，并依次調(diào)用get_links(url)函數(shù)來獲取房源詳細信息。項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟二網(wǎng)絡(luò)爬蟲構(gòu)建

2.爬蟲代碼構(gòu)建利用requests和正則表達式編寫爬蟲代碼#定義函數(shù)，用于獲取房源列表頁的詳細鏈接地址defget_link(url):linklist=[]##存儲房源鏈接地址列表

res=requests.get(url,headers=headers)##發(fā)送網(wǎng)絡(luò)請求獲取頁面內(nèi)容

#print(res)ptn='<aclass=""href="(.*?)"'#匹配房源鏈接地址的正則表達式

links=re.findall(ptn,res.text,re.S)#使用正則表達式提取房源鏈接地址

print(links)forlinkinlinks:if(link!='<%=url%>'):linklist.append(link)#將有效鏈接地址添加到列表中

forlinkinlinklist:get_info(link)項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟二網(wǎng)絡(luò)爬蟲構(gòu)建

2.爬蟲代碼構(gòu)建利用requests和正則表達式編寫爬蟲代碼下面是代碼的流程步驟描述：1)

導(dǎo)入需要使用的模塊：re（正則表達式模塊）、requests（網(wǎng)絡(luò)請求模塊）和time（時間模塊）。2)

設(shè)置請求頭信息headers，模擬瀏覽器訪問。3)

定義函數(shù)get_link(url)，用于獲取房源列表頁的詳細鏈接地址：4)

定義函數(shù)get_info(url)，用于獲取房源的詳細信息：5)

在主程序中，構(gòu)造要爬取的多個頁面的URL列表。遍歷URL列表，依次調(diào)用get_link(url)函數(shù)，并在每次請求后暫停5秒（time.sleep(5)）以避免請求過于頻繁被網(wǎng)站封鎖。項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟二網(wǎng)絡(luò)爬蟲構(gòu)建

2.爬蟲代碼構(gòu)建利用requests和Lxml編寫爬蟲代碼'''獲取詳情頁超鏈接的地址'''defget_links(url):#接收參數(shù)：每個房源列表頁的urli=0wb_data=requests.get(url,headers=headers)selector=etree.HTML(wb_data.text)links=selector.xpath('//*[@id="cycleListings"]/ul/li/div[2]/div[1]/a')#獲取每個房源詳情頁的a標(biāo)記，得到a標(biāo)記列表，可以找到詳情頁的url//*[@id="cycleListings"]/ul/li[2]/div[2]/div[1]/aforlinkinlinks:href=link.get('href')#tag的get函數(shù)，獲取a標(biāo)記href的屬性值，即可獲取詳情頁urlhref=''+hreftime.sleep(2)get_info(href)#調(diào)用get_info函數(shù)，參數(shù)為詳情頁url項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟二網(wǎng)絡(luò)爬蟲構(gòu)建

2.爬蟲代碼構(gòu)建利用requests和Lxml編寫爬蟲代碼項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)知

識

準

備本任務(wù)深入講解了網(wǎng)絡(luò)爬蟲構(gòu)建，涵蓋原理、流程（請求-響應(yīng)-解析-存儲）及Python實現(xiàn)（requests,BeautifulSoup等）。通過實例，實踐了數(shù)據(jù)爬取與解析，并強調(diào)了道德與法律遵守。最后，以廣州Q房網(wǎng)二手房信息爬取為例，綜合展示了從環(huán)境配置到代碼編寫的全過程，既提供技術(shù)實操，也強調(diào)合法合規(guī)采集數(shù)據(jù)的重要性。任務(wù)實

施任務(wù)2端側(cè)數(shù)據(jù)采集2任務(wù)描

述任務(wù)導(dǎo)入知

識

準

備任務(wù)小

結(jié)任務(wù)實

施攝像頭數(shù)據(jù)采集作為端側(cè)數(shù)據(jù)采集的一個重要應(yīng)用，不僅實現(xiàn)了對城市、校園及自然環(huán)境的實時視頻監(jiān)視，還持續(xù)積累了寶貴的圖像數(shù)據(jù)資源。這些數(shù)據(jù)不僅是技術(shù)處理的基礎(chǔ)，更是洞察社會現(xiàn)象、推動社會進步的寶貴財富。在數(shù)據(jù)采集的過程中，學(xué)生不僅能學(xué)習(xí)到相關(guān)技術(shù)知識，還能增強社會責(zé)任感，思考如何利用科技服務(wù)于社會，從數(shù)據(jù)中發(fā)現(xiàn)并解決問題，共同推動社會向前發(fā)展。任務(wù)

導(dǎo)

入任

務(wù)

描

述知

識

準

備任務(wù)小

結(jié)任務(wù)實

施本任務(wù)旨在實現(xiàn)對指定區(qū)域的實時視頻監(jiān)控和數(shù)據(jù)采集，通過攝像頭設(shè)備采集目標(biāo)區(qū)域的視頻數(shù)據(jù)。同時，將采集到的視頻數(shù)據(jù)進行分幀處理，并將分幀的結(jié)果保存到以視頻名命名的文件夾當(dāng)中。任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施OpenCV庫的基本概念和功能OpenCV庫的基本概念OpenCV庫的功能2.2.1了解OpenCV庫OpenCV是一個跨語言的開源計算機視覺和機器學(xué)習(xí)庫，提供超過2500個優(yōu)化算法，支持圖像處理和多種計算機視覺功能，并隨著版本更新不斷引入新技術(shù)和優(yōu)化，擁有龐大的開發(fā)者社區(qū)支持。OpenCV的版本更新帶來重大架構(gòu)改進、新特性增加及問題修復(fù)，同時引入更高效的算法和機器學(xué)習(xí)技術(shù)，通過硬件加速和代碼優(yōu)化提升性能，滿足復(fù)雜任務(wù)需求。①核心模塊②圖像處理模塊③特征檢測與描述模塊④目標(biāo)檢測與跟蹤模塊⑤3D重建模塊⑥機器學(xué)習(xí)模塊任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施2.OpenCV-Python的安裝和基本調(diào)用方法2.1.1網(wǎng)絡(luò)爬蟲的基本原理及基本庫的使用特

點詳

解易用性Python的語法簡潔明了，易于上手，使得OpenCV的功能能夠更快速地被開發(fā)者所掌握和使用豐富的接口OpenCV-Python提供了大量的API接口，涵蓋了圖像處理、特征提取、目標(biāo)檢測、機器學(xué)習(xí)等多個方面，滿足了開發(fā)者在計算機視覺領(lǐng)域的各種需求跨平臺性O(shè)penCV-Python可以在多種操作系統(tǒng)上運行，包括Windows、Linux和macOS等，使得開發(fā)者可以在不同的環(huán)境下進行開發(fā)和部署主

要

功

能詳

解圖像處理包括圖像讀取、保存、轉(zhuǎn)換、濾波、直方圖均衡化等基本操作，幫助開發(fā)者對圖像進行預(yù)處理和增強特征提取與匹配支持多種特征提取算法，如SIFT、SURF、ORB等，以及特征匹配技術(shù)，用于圖像識別、目標(biāo)跟蹤等任務(wù)目標(biāo)檢測與識別通過級聯(lián)分類器、HOG+SVM、深度學(xué)習(xí)等方法實現(xiàn)人臉、物體等目標(biāo)的檢測與識別視頻處理與分析支持視頻文件的讀取、播放、錄制，以及實時視頻流的處理，用于視頻監(jiān)控、運動分析等領(lǐng)域機器學(xué)習(xí)集成了多種機器學(xué)習(xí)算法，如KNN、SVM、決策樹等，使得開發(fā)者能夠利用機器學(xué)習(xí)技術(shù)對圖像數(shù)據(jù)進行分類、聚類等操作應(yīng)

用

場

景詳

解自動駕駛通過圖像處理技術(shù)識別道路標(biāo)志、行人、車輛等目標(biāo)，實現(xiàn)自動駕駛的導(dǎo)航與決策人臉識別與身份驗證利用特征提取與匹配技術(shù)實現(xiàn)人臉的識別與身份驗證，應(yīng)用于安防、門禁等領(lǐng)域醫(yī)學(xué)影像分析對醫(yī)學(xué)影像進行預(yù)處理、分割、特征提取等操作，輔助醫(yī)生進行疾病診斷智能安防通過視頻處理與分析技術(shù)實現(xiàn)異常事件的檢測與報警，提高安防系統(tǒng)的智能化水平機器人視覺為機器人提供視覺感知能力，實現(xiàn)目標(biāo)跟蹤、導(dǎo)航、避障等功能pipinstallopencv-python任務(wù)導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施2.OpenCV-Python的安裝和基本調(diào)用方法2.1.1網(wǎng)絡(luò)爬蟲的基本原理及基本庫的使用importcv2

#讀取圖片

img=cv2.imread('example.jpg')

#顯示圖片

cv2.imshow('image',img)

#等待按鍵按下，然后關(guān)閉窗口

cv2.waitKey(0)

cv2.destroyAllWindows()項

目

導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施1.OpenCV中與攝像頭相關(guān)的函數(shù)和類cv2.VideoCapture類：用于捕獲視頻流，從攝像頭或視頻文件中讀取幀。2.2.2攝像頭操作（1）cv2.VideoCapture(index,apiPreference=0)：創(chuàng)建一個VideoCapture對象，用于捕獲視頻流。index是攝像頭的ID，通常為0（表示第一個攝像頭）；apiPreference是一個可選參數(shù)，用于指定使用哪種后端API。（2）cap.read()：從VideoCapture對象中讀取一幀。返回兩個值：一個布爾值（True/False，表示是否成功讀取幀）和一個數(shù)組（表示幀的圖像）。（3）cap.isOpened()：檢查VideoCapture對象是否成功打開。（4）cap.release()：釋放VideoCapture對象，關(guān)閉攝像頭或視頻文件。（5）cap.set(propId,value)：設(shè)置攝像頭屬性。propId是屬性標(biāo)識符（如cv2.CAP_PROP_FRAME_WIDTH表示幀寬度），value是要設(shè)置的值。（6）cap.get(propId)：獲取攝像頭屬性。propId是屬性標(biāo)識符，函數(shù)返回屬性的當(dāng)前值。同時，OpenCV提供了cv2.CAP_PROP_*系列的常量，用于指定要獲取的攝像頭屬性。frame_width=cap.get(cv2.CAP_PROP_FRAME_WIDTH)項

目

導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施2.攝像頭的初始化和操作2.2.2攝像頭操作importcv2#初始化攝像頭cap=cv2.VideoCapture(0)#檢查是否成功打開攝像頭ifnotcap.isOpened():print("無法打開攝像頭")exit()#獲取攝像頭屬性frame_width=int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))frame_height=int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))fps=cap.get(cv2.CAP_PROP_FPS)print(f"攝像頭屬性:寬度={frame_width},高度={frame_height},FPS={fps}")#釋放攝像頭資源cap.release()首先初始化攝像頭并檢查是否成功打開；然后，使用cap.get()函數(shù)獲取攝像頭的屬性，并打印出來；最后，釋放攝像頭資源。在實際應(yīng)用中，可能還需要處理其他情況，如攝像頭未連接或無法訪問的情況，以及可能出現(xiàn)的異常。項

目

導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施2.2.3圖像采集與顯示#創(chuàng)建一個VideoCapture對象，參數(shù)0表示默認攝像頭

cap=cv2.VideoCapture(0)

#檢查攝像頭是否成功打開

ifnotcap.isOpened():

print("Error:Couldnotopenvideodevice.")

exit()whileTrue:

#讀取一幀圖像

ret,frame=cap.read()

#檢查是否成功讀取幀

ifnotret:

print("Error:Couldnotreceiveframefromvideodevice.")

break

使用默認的攝像頭對象循環(huán)中不斷地從攝像頭中捕獲幀項

目

導(dǎo)

入知

識

準

備任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施2.2.3圖像采集與顯示frame_count=0whileTrue:#...（讀取幀的代碼）#保存每一幀為JPEG格式的本地文件cv2.imwrite(f"frame_{frame_count}.jpg",frame)frame_count+=1whileTrue:#...（讀取幀的代碼）#顯示幀cv2.imshow('CameraFeed',frame)#等待按鍵輸入，如果按下'q'鍵，則退出循環(huán)ifcv2.waitKey(1)&0xFF==ord('q'):break將捕獲的幀保存為本地文件使用OpenCV的imshow()函數(shù)來顯示采集到的視頻幀項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備端側(cè)數(shù)據(jù)采集的任務(wù)工單如下表：班級：組別：姓名：掌握程度：任務(wù)名稱基于攝像頭的端側(cè)數(shù)據(jù)采集任務(wù)目標(biāo)利用USB攝像頭結(jié)合Python-OpenCV采集端側(cè)的視頻數(shù)據(jù)，并將視頻數(shù)據(jù)分幀處理，保存到與視頻同名的文件夾中采集數(shù)據(jù)視頻數(shù)據(jù)工具清單Python、USB攝像頭、OpenCV操作步驟1．配置視頻數(shù)據(jù)采集虛擬環(huán)境，安裝相關(guān)的Python模塊2．基于配置好的虛擬環(huán)境，結(jié)合USB攝像頭采集視頻數(shù)據(jù)。3．將采集到的視頻進行視頻分幀，存儲到對應(yīng)的文件夾中考核標(biāo)準1．實現(xiàn)與性能：［能否正常讀取攝像頭數(shù)據(jù)］2．穩(wěn)定性和可靠性：［長時間穩(wěn)定運行，異常處理能力］3．?dāng)?shù)據(jù)質(zhì)量：［采集的視頻幀的清晰程度、分辨率的大?。蓓?/p>

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟一端側(cè)數(shù)據(jù)采集環(huán)境搭建（1）參照任務(wù)2.1任務(wù)實施的步驟一，創(chuàng)建一個Python版本為3.8的虛擬環(huán)境。（2）配置端側(cè)數(shù)據(jù)采集所需模塊。激活虛擬環(huán)境：condaactivateclient_side，如圖2-2-2所示，圖中最左邊的狀態(tài)由（base）轉(zhuǎn)變?yōu)椋╟lient_side）。安裝調(diào)用攝像頭捕獲數(shù)據(jù)OpenCV模塊項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟二數(shù)據(jù)采集環(huán)境和攝像頭功能測試測試代碼importcv2cap=cv2.VideoCapture(0)while(cap.isOpened()):#判斷是否打開攝像頭

ret,img=cap.read()#獲取數(shù)據(jù)

ifret:

cv2.imshow('test',img)#顯示視頻幀

ifcv2.waitKey(25)&0xFF==ord('q'):#判斷是否停止

break

else:

breakcap.release()#釋放攝像頭cv2.destroyAllWindows()#關(guān)閉窗口項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟三采集視頻數(shù)據(jù)#創(chuàng)建VideoWriter對象，用于保存視頻output_file='output.mp4'out=cv2.VideoWriter(output_file,video_codec,frame_rate,(capture_width,capture_height))#將視頻設(shè)置參數(shù)存儲到JSON文件中video_settings={'capture_width':capture_width,'capture_height':capture_height,'frame_rate':frame_rate,'video_codec':'mp4v'}withopen('video_settings.json','w')assettings_file:json.dump(video_settings,settings_file)首先設(shè)置了視頻捕獲的分辨率和幀率，然后使用OpenCV的VideoCapture類來從默認攝像頭捕獲視頻。捕獲的每一幀都被寫入一個通過VideoWriter類創(chuàng)建的視頻文件中，同時，將視頻的設(shè)置參數(shù)保存到一個JSON文件中，以便后續(xù)使用項

目

導(dǎo)

入任

務(wù)

描

述任務(wù)小

結(jié)任務(wù)實

施知

識

準

備步驟四視頻分幀ifnotos.path.exists(output_dir):

os.makedirs(output_dir)

#初始化幀計數(shù)器

fra