項目八 項目實戰(zhàn)-網絡爬蟲

項目八項目實戰(zhàn)-網絡爬蟲目錄8.2【任務2】爬取浪潮優(yōu)派信息8.1【任務1】爬取手機端數(shù)據案例分析3使用Requests庫與抓包工具（攔截查看網絡數(shù)據包內容的軟件）的結合實現(xiàn)一個APP頁面內容的爬取。能夠通過Fiddler抓包工具配置及使用獲取APP數(shù)據內容及相關信息，之后使用Requests庫相關方法通過鏈接地址實現(xiàn)APP內數(shù)據的爬取。需求描述案例分析4安裝Fiddler抓包工具。使用Fiddler抓包工具進行網站分析。分析網站。設計思路任務一使用Requests庫爬取小說網站5案例展示任務步驟第一步下載抓包工具。這里使用Fiddler抓包工具，點擊下載按鈕后，根據相關提示信息完成內容填寫即可實現(xiàn)Fiddler下載，效果如圖所示。6任務步驟第二步Fiddler安裝。雙擊下載好的軟件安裝包，之后點擊“IAgree”→“Install”按鈕即可安裝Fiddler工具。安裝完成效果如圖所示。7任務步驟第三步Fiddler工具配置。打開剛剛安裝完成的Fiddler軟件，效果如圖所示。8任務步驟第三步點擊“Tools”菜單下的“Options”按鈕進入工具配置界面，效果如圖所示。9任務步驟第三步點擊圖中“Connections”按鈕，之后進行端口號的配置，效果如圖所示。10任務步驟第四步手機配置。由于抓取的是手機APP數(shù)據，因此需要在同一局域網內進行手機網絡的配置，進入手機WiFi修改界面，設置手動代理并進行主機IP和端口號的配置，效果如圖所示。11任務步驟第五步APP頁面分析。配置完成后，即可使用當前手機打開需要爬取的APP，這里使用的是美團APP，頁面結構如圖所示。12任務步驟第六步查看APP信息。找到需要抓取的頁面后，在Fiddler抓包工具頁面中會獲取到當前APP請求網絡的路徑，點擊路徑后即可查看當前APP的相關信息，效果如圖所示。13任務步驟第七步基本配置和信息獲取完成后即可進行代碼的編輯，將上面獲取的相關請求頭信息填入代碼相應的位置，之后將爬取路徑放入請求方法中進行頁面內容的請求，之后通過JSON信息的分析，爬取需要的頁面信息，如有需要可將信息保存到本地文件，代碼如下所示。14任務步驟第七步效果如圖所示：15目錄8.2【任務2】爬取浪潮優(yōu)派信息8.1【任務1】爬取手機端數(shù)據案例分析17本任務是爬取浪潮優(yōu)派首頁中的新聞列表和所有的圖片信息，然后將新聞列表保存到本地文本文檔中，將圖片保存到爬蟲的所在目錄。需求描述案例分析18明確爬取目標及所需要的效果。根據URL爬取網頁數(shù)據信息。對數(shù)據進行保存。設計思路任務二使用正則表達式提取網頁內容19案例展示任務步驟第一步打開浪潮優(yōu)派教育首頁（:9090/），如圖所示。20任務步驟第二步分析新聞列表部分代碼的頁面結構，抓取每條新聞的標題，發(fā)布時間、閱讀量和類型，如圖所示：21任務步驟第三步引入需要使用的庫，并設置請求頭信息以及要訪問的連接，然后訪問鏈接并獲取頁面代碼，代碼如下。22任務步驟第四步提取新聞信息。通過上圖可知新聞列表所在div的class屬性為clearnewInfor，然后新聞的標題在其每個字標簽的/ol/li/h3中，抓取新聞標題的語句如下：23任務步驟第四步發(fā)布時間在p標簽的time標簽中，獲取發(fā)布時間的代碼如下:24閱讀量在p標簽的第一個span標簽中的samll標簽中，獲取閱讀量的代碼如下：任務步驟第四步新聞類型在閱讀量在p標簽的第二個span標簽中的samll標簽中，獲取新聞類型的代碼如下：25頁面中的圖片全部在class為contents的div標簽的img標簽中，如圖xx所示