人工智能數(shù)據(jù)服務(wù) 課件 2-3 項(xiàng)目二 數(shù)據(jù)采集 任務(wù)3 數(shù)據(jù)存儲(chǔ)與加載

任務(wù)2-3數(shù)據(jù)存儲(chǔ)與加載3數(shù)據(jù)在人工智能中的核心作用：數(shù)據(jù)是驅(qū)動(dòng)人工智能模型智能進(jìn)化的關(guān)鍵燃料，也是整個(gè)人工智能生態(tài)系統(tǒng)發(fā)展的基石。它不僅是模型訓(xùn)練與優(yōu)化的基礎(chǔ)，還直接影響到系統(tǒng)的智能化水平和最終性能。數(shù)據(jù)存儲(chǔ)與加載機(jī)制的重要性：一個(gè)高效、安全、可擴(kuò)展的數(shù)據(jù)存儲(chǔ)與加載機(jī)制對(duì)于人工智能系統(tǒng)的順暢運(yùn)行至關(guān)重要。它確保了數(shù)據(jù)在系統(tǒng)中的流通無阻，提高了數(shù)據(jù)處理效率，同時(shí)增強(qiáng)了系統(tǒng)的安全性和靈活性，為系統(tǒng)的長期維護(hù)和擴(kuò)展提供了堅(jiān)實(shí)基礎(chǔ)。技術(shù)創(chuàng)新與優(yōu)化方向：項(xiàng)目實(shí)踐不僅加深了我們對(duì)數(shù)據(jù)存儲(chǔ)與加載機(jī)制的理解，還激發(fā)了我們對(duì)技術(shù)創(chuàng)新的追求。通過不斷探索和優(yōu)化數(shù)據(jù)存儲(chǔ)與加載流程，我們可以進(jìn)一步提升人工智能系統(tǒng)的整體性能和運(yùn)行效率，從而更好地服務(wù)于實(shí)際應(yīng)用場景，推動(dòng)人工智能技術(shù)的持續(xù)進(jìn)步和發(fā)展。本任務(wù)旨在對(duì)采集后的數(shù)據(jù)進(jìn)行有效的存儲(chǔ)以及加載，以方便后續(xù)的任務(wù)。根據(jù)采集到的數(shù)據(jù)特點(diǎn)，采用不同的數(shù)據(jù)存儲(chǔ)方式，包括TXT格式數(shù)據(jù)存儲(chǔ)、CSV格式數(shù)據(jù)存儲(chǔ)、Excel格式數(shù)據(jù)存儲(chǔ)以及MongoDB數(shù)據(jù)庫數(shù)據(jù)存儲(chǔ)。同時(shí)，將存儲(chǔ)后的數(shù)據(jù)重新加載，并進(jìn)行數(shù)據(jù)展示。2.3.1基于Python的TXT格式數(shù)據(jù)存儲(chǔ)在Python中，將數(shù)據(jù)存儲(chǔ)到.txt文件（文本文件）是一個(gè)常見的操作。以下是一些基本的示例，說明如何使用Python將數(shù)據(jù)寫入和讀取.txt文件。（1）寫入TXT文件使用open()函數(shù)以寫入模式（'w'或'a'，其中'w'表示寫入，會(huì)覆蓋已有文件內(nèi)容，'a'表示追加，會(huì)在文件末尾添加內(nèi)容）打開一個(gè)文件，并使用write()方法將數(shù)據(jù)寫入文件。#寫入數(shù)據(jù)到txt文件data="Hello,World!\n"#\n表示換行符withopen('myfile.txt','w',encoding='utf-8')asf:f.write(data)2.3.1基于Python的TXT格式數(shù)據(jù)存儲(chǔ)（2）讀取TXT文件使用open()函數(shù)以讀取模式（'r'）打開一個(gè)文件，并使用read()方法讀取文件內(nèi)容。#讀取txt文件內(nèi)容withopen('myfile.txt','r',encoding='utf-8')asf:content=f.read()print(content)2.3.2基于Python的CSV格式數(shù)據(jù)存儲(chǔ)在Python中，CSV（CommaSeparatedValues，逗號(hào)分隔值）格式的數(shù)據(jù)存儲(chǔ)和讀取是非常常見的。CSV文件是一個(gè)簡單的文本文件，其中包含由逗號(hào)或其他分隔符分隔的表格數(shù)據(jù)。Python的內(nèi)置CSV模塊提供了方便的函數(shù)來讀取和寫入CSV文件。（1）寫入CSV文件使用csv.writer()函數(shù)來創(chuàng)建一個(gè)寫入器對(duì)象，該對(duì)象能夠?qū)?shù)據(jù)寫入CSV文件。importcsv#定義要寫入的數(shù)據(jù)

data=[['Name','Age','Country'],['Alice','25','USA'],['Bob','30','Canada'],['Charlie','35','UK']]#寫入CSV文件

withopen('mydata.csv','w',newline='',encoding='utf-8')asfile:writer=csv.writer(file)forrowindata:writer.writerow(row)2.3.2基于Python的CSV格式數(shù)據(jù)存儲(chǔ)（2）讀取CVS文件使用csv.reader()函數(shù)來創(chuàng)建一個(gè)讀取器對(duì)象，該對(duì)象能夠讀取CSV文件中的數(shù)據(jù)。importcsv#讀取CSV文件

withopen('mydata.csv','r',encoding='utf-8')asfile:reader=csv.reader(file)forrowinreader:print(row)#每行數(shù)據(jù)將被打印為一個(gè)列表2.3.2基于Python的CSV格式數(shù)據(jù)存儲(chǔ)（3）使用DictWriter和DictReaderCSV模塊還提供了DictWriter和DictReader類，它們?cè)试S以字典的形式處理CSV數(shù)據(jù)。寫入CSV文件（使用DictWriter）importcsv#定義要寫入的數(shù)據(jù)（字典列表）

data=[{'Name':'Alice','Age':'25','Country':'USA'},{'Name':'Bob','Age':'30','Country':'Canada'},{'Name':'Charlie','Age':'35','Country':'UK'}]#定義字段名

fieldnames=['Name','Age','Country']#寫入CSV文件

withopen('mydata_dict.csv','w',newline='',encoding='utf-8')asfile:writer=csv.DictWriter(file,fieldnames=fieldnames)#寫入字段名

writer.writeheader()#寫入數(shù)據(jù)行

forrowindata:writer.writerow(row)2.3.2基于Python的CSV格式數(shù)據(jù)存儲(chǔ)（3）使用DictWriter和DictReaderCSV模塊還提供了DictWriter和DictReader類，它們?cè)试S以字典的形式處理CSV數(shù)據(jù)。讀取CSV文件（使用DictReader）importcsv#讀取CSV文件

withopen('mydata_dict.csv','r',encoding='utf-8')asfile:reader=csv.DictReader(file)forrowinreader:print(row)#每行數(shù)據(jù)將被打印為一個(gè)字典2.3.3基于Python的Excel格式數(shù)據(jù)存儲(chǔ)在Python中，Excel格式的數(shù)據(jù)存儲(chǔ)通常使用第三方庫，如openpyxl（用于處理.xlsx文件）或xlwt和xlrd（用于處理較舊的.xls文件，但xlrd從2.0.0版本開始不再支持.xlsx文件）。由于.xlsx是更現(xiàn)代的Excel文件格式，下面將展示如何使用openpyxl來讀取和寫入Excel文件。1）安裝openpyxl庫首先，需要安裝openpyxl庫?？梢允褂胮ip來安裝：pipinstallopenpyxl2.3.3基于Python的Excel格式數(shù)據(jù)存儲(chǔ)（2）寫入Excel文件使用openpyxl創(chuàng)建一個(gè)新的Excel文件并寫入數(shù)據(jù)。fromopenpyxlimportWorkbookfromopenpyxl.utilsimportget_column_letter#創(chuàng)建一個(gè)新的工作簿

wb=Workbook()#選擇活動(dòng)工作表

ws=wb.active#寫入標(biāo)題行

ws.append(["Name","Age","Country"])#寫入數(shù)據(jù)行

data=[["Alice",25,"USA"],["Bob",30,"Canada"],["Charlie",35,"UK"]]forrowindata:ws.append(row)#保存工作簿

wb.save("mydata.xlsx")2.3.3基于Python的Excel格式數(shù)據(jù)存儲(chǔ)（3）讀取Excel文件使用openpyxl讀取Excel文件中的數(shù)據(jù)。fromopenpyxlimportload_workbook#加載工作簿

wb=load_workbook(filename="mydata.xlsx")#選擇活動(dòng)工作表，或者通過名稱選擇工作表

ws=wb.active#或者wb["Sheet1"]#遍歷并打印所有行

forrowinws.iter_rows(values_only=True):print(row)#如果你知道要讀取的數(shù)據(jù)的位置，也可以直接訪問單元格

cell_value=ws['A1'].value#獲取第一行第一列的值

print(cell_value)2.3.4基于Python的MongoDB數(shù)據(jù)庫存儲(chǔ)1.

MongoDB數(shù)據(jù)庫介紹MongoDB是一個(gè)強(qiáng)大而靈活的文檔型NoSQL數(shù)據(jù)庫，它以其獨(dú)特的存儲(chǔ)機(jī)制、高性能、可擴(kuò)展性和易用性而廣受歡迎。MongoDB采用BSON（BinaryJSON）作為其數(shù)據(jù)存儲(chǔ)格式，這使得它能夠存儲(chǔ)復(fù)雜且多變的數(shù)據(jù)結(jié)構(gòu)，非常適合用于非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和管理。2.3.4基于Python的MongoDB數(shù)據(jù)庫存儲(chǔ)2.MongDB數(shù)據(jù)庫安裝和使用要使用Python將數(shù)據(jù)存儲(chǔ)到MongoDB數(shù)據(jù)庫中，需要安裝pymongo庫，這是MongoDB的官方Python驅(qū)動(dòng)程序。安裝完成相關(guān)庫后，可創(chuàng)建、連接數(shù)據(jù)庫，然后可以進(jìn)行數(shù)據(jù)的插入、查詢、更新和刪除。表2-3-1任務(wù)工單數(shù)據(jù)存儲(chǔ)與加載的任務(wù)工單如下表2-3-1所示班級(jí)：組別：姓名：掌握程度：任務(wù)名稱采集數(shù)據(jù)的存儲(chǔ)任務(wù)目標(biāo)根據(jù)數(shù)據(jù)的特點(diǎn)，將采集到的數(shù)據(jù)按照一定的格式進(jìn)行存儲(chǔ)，并且能夠?qū)?shù)據(jù)進(jìn)行導(dǎo)入和展示。存儲(chǔ)數(shù)據(jù)文本工具清單Python、openpyxl、pymongo、xml、MongoDB操作步驟1.

爬取數(shù)據(jù)存儲(chǔ)環(huán)境配置：創(chuàng)建虛擬環(huán)境，安裝相關(guān)涉及數(shù)據(jù)存儲(chǔ)的python模塊。2.

編寫數(shù)據(jù)采集爬蟲代碼，編寫數(shù)據(jù)存儲(chǔ)代碼。3.

進(jìn)行腳本測試，存儲(chǔ)數(shù)據(jù)以及數(shù)據(jù)加載測試?？己藰?biāo)準(zhǔn)1.實(shí)現(xiàn)與性能：[能否正常存儲(chǔ)和讀入數(shù)據(jù)]2.穩(wěn)定性和可靠性：[長時(shí)間穩(wěn)定運(yùn)行，異常處理能力]3.

數(shù)據(jù)質(zhì)量：[數(shù)據(jù)的完備性、多樣性]2.3.5數(shù)據(jù)存儲(chǔ)與加載實(shí)戰(zhàn)步驟一數(shù)據(jù)存儲(chǔ)環(huán)境搭建（1）參照任務(wù)2.1任務(wù)實(shí)施的步驟一，創(chuàng)建一個(gè)Python版本為3.8的虛擬環(huán)境。（2）配置數(shù)據(jù)采集存儲(chǔ)所需模塊。激活虛擬環(huán)境：condaactivatedata_save如圖2-3-3所示，圖中最左邊的狀態(tài)由（base）轉(zhuǎn)變?yōu)椋╠ata_save）。2.3.5數(shù)據(jù)存儲(chǔ)與加載實(shí)戰(zhàn)步驟一數(shù)據(jù)存儲(chǔ)環(huán)境搭建pipinstallopenpyxl-i/simple安裝openpyxl和pymongo模塊pipinstallpymongo

-i/simple步驟二文本數(shù)據(jù)采集及txt格式存儲(chǔ)以下是數(shù)據(jù)存儲(chǔ)文件創(chuàng)建和數(shù)據(jù)保存部分代碼

#檢查文件是否成功創(chuàng)建

ifos.path.exists('data.txt'):

print("數(shù)據(jù)已保存到data.txt文件中。")

#讀取txt文件并顯示數(shù)據(jù)

withopen('data.txt','r',encoding='utf-8')asfile:

print("txt文件中的數(shù)據(jù)：")print(file.read())else:print("保存文件失敗。")else:print("請(qǐng)求網(wǎng)頁失敗，狀態(tài)碼：",response.status_code)步驟三電影數(shù)據(jù)采集及CSV格式存儲(chǔ)以下是數(shù)據(jù)存儲(chǔ)文件創(chuàng)建和數(shù)據(jù)保存部分代碼步驟四Excel表格的數(shù)據(jù)存儲(chǔ)在本步驟