網(wǎng)絡爬蟲(python實現(xiàn))

Presentation網(wǎng)絡爬蟲入門|以華師圖書館/豆瓣為例(Python實現(xiàn))@汪政EastChinaNormalUniversity2024年11月10日CONTENTS目錄1什么是爬蟲2背景意義3三步走4模擬登陸5豆瓣抓取6小結(jié)2024年11月10日EastChinaNormalUniversity選題背景三步走Review模擬登陸豆瓣抓取小結(jié)在我們?nèi)粘Ｉ暇W(wǎng)瀏覽網(wǎng)頁的時候，經(jīng)常會看到一些好看的圖片，我們就希望把這些圖片保存下載，或者用戶用來做桌面壁紙，或者用來做設(shè)計的素材。我們最常規(guī)的做法就是通過鼠標右鍵，選擇另存為。但有些圖片鼠標右鍵的時候并沒有另存為選項，還有辦法就通過就是通過截圖工具截取下來，但這樣就降低圖片的清晰度。好吧～！其實你很厲害的，右鍵查看頁面源代碼。

我們再來看下知乎神貼~可以干哪些有趣的事情？12024年11月10日圖片文本視頻EastChinaNormalUniversity選題背景三步走Review模擬登陸豆瓣抓取小結(jié)[第一步]爬哪里（URL）：獲取整個頁面數(shù)據(jù)[第二步][第三步]怎么爬（Method）:非常強大的正則表達式，以及許多開源庫（urllib,BeautifulSoup）

我們可以通過python

來實現(xiàn)這樣一個簡單的爬蟲功能，把我們想要的代碼爬取到本地。下面就看看如何使用python來實現(xiàn)這樣一個功能。

一般我們?nèi)阶?！三步?2024年11月10日EastChinaNormalUniversity爬什么（interesting）：你對什么感興趣選題背景三步走Review模擬登陸豆瓣抓取小結(jié)Review2024年11月10日EastChinaNormalUniversity瀏覽器訪問服務器的過程在用戶訪問網(wǎng)頁時，不論是通過、IP，還是點擊鏈接，瀏覽器向WEB服務器發(fā)出了一個HttpRequest），WEB服務器接收到瀏覽器的請求之后，響應客戶端的請求，發(fā)回相應的響應信息（HttpResponse），瀏覽器解析引擎，排版引擎分析返回的內(nèi)容，呈現(xiàn)給用戶。交互的過程中，HTTP請求和響應時發(fā)送的都是一個消息結(jié)構(gòu)。實例：（華東師范大學圖書館）選題背景三步走Review模擬登陸豆瓣抓取小結(jié)代碼分析：模擬登陸華東師范大學圖書館爬蟲結(jié)果：借閱歷史.txt模擬登陸華東師范大學圖書館\并爬取借閱歷史42024年11月10日EastChinaNormalUniversity

當你要模擬登錄一個網(wǎng)站時，首先要搞清楚網(wǎng)站的登錄處理細節(jié)（發(fā)了什么樣的數(shù)據(jù)，給誰發(fā)等...）。通過抓取http數(shù)據(jù)包來分析該網(wǎng)站的登錄流程。同時，我們還要分析抓到的post包的數(shù)據(jù)結(jié)構(gòu)和header，要根據(jù)提交的數(shù)據(jù)結(jié)構(gòu)和heander來構(gòu)造自己的post數(shù)據(jù)和header。并發(fā)送給指定url。我們通過urllib2等幾個模塊提供的API來實現(xiàn)request請求的發(fā)送和相應的接收。大部分網(wǎng)站登錄時需要攜帶cookie，所以我們還必須設(shè)置cookie處理器來保證cookie選題背景三步走Review模擬登陸豆瓣抓取小結(jié)抓取豆瓣上計算機類圖書評分最高的top150本書籍，并保存在本地Excel中。2024年11月10日step1分析網(wǎng)頁源代碼結(jié)構(gòu)step2確定爬蟲方法step2本地保存EastChinaNormalUniversity課題背景三步走Review模擬登陸豆瓣抓取小結(jié)小結(jié)72024年11月10日多線程……代理偽裝使用代理服務器偽裝成瀏覽器訪問反”反盜鏈”多線程并發(fā)抓取驗證碼的處理代碼簡單，使用方便，性能也不俗，可謂居家旅行，殺人放火（黑網(wǎng)站），咳咳，之必備神器。EastChi