python爬蟲(chóng)urllib中的異常模塊處理

第python爬蟲(chóng)urllib中的異常模塊處理目錄urllib中的異常處理url的組成部分URLErrorHTTPError簡(jiǎn)介Urllib.error模塊異常處理

urllib中的異常處理

在我們寫(xiě)爬蟲(chóng)程序時(shí)，若出現(xiàn)url中的錯(cuò)誤，那么我們就無(wú)法爬取我們想要的內(nèi)容，對(duì)此，我們引入了urllib中的異常處理。

url的組成部分

URL由6個(gè)部分組成：eg：

/swd=易烊千璽

協(xié)議（http/https）主機(jī)（）端口號(hào)（80/443）路徑（s）參數(shù)（wd=易烊千璽）錨點(diǎn)

常見(jiàn)的端口號(hào)：

http（80）https（443）mysql(3306)oracle(1521)redis(6379)mongodb(27017)

URLError

通常來(lái)說(shuō)，URLError報(bào)錯(cuò)通常為url地址中主機(jī)部分的錯(cuò)誤：

實(shí)例：

url='1/'

運(yùn)行結(jié)果：

urllib.error.URLError:urlopenerror[Errno11001]getaddrinfofailed

HTTPError

這個(gè)異常的通常是url地址中參數(shù)或是路徑的錯(cuò)誤。

實(shí)例：

url='/p/3388cf148dba1'

運(yùn)行結(jié)果：

urllib.error.HTTPError:HTTPError404:NotFound

簡(jiǎn)介

HTTPError類(lèi)是URLError類(lèi)的子類(lèi)導(dǎo)入的包urllib.error.HTTPError/urllib.error.URLErrorhttp錯(cuò)誤：http錯(cuò)誤是針對(duì)瀏覽器無(wú)法連接到服務(wù)器而增加的出來(lái)的錯(cuò)誤提示，引導(dǎo)并告訴瀏覽者該頁(yè)是出了什么問(wèn)題。通過(guò)urllib發(fā)送請(qǐng)求的時(shí)候，有可能會(huì)發(fā)送失敗，這個(gè)時(shí)候如果想讓你的代碼更健壯，可以通過(guò)try-except進(jìn)行捕獲異常。

Urllib.error模塊

urllib.error模塊為urllib.request所引發(fā)的異常定義了異常類(lèi)，基礎(chǔ)異常類(lèi)是URLError。

urllib.error包含了兩個(gè)方法，URLError和HTTPError。

URLError是OSError的一個(gè)子類(lèi)，用于處理程序在遇到問(wèn)題時(shí)會(huì)引發(fā)此異常（或其派生的異常）。

HTTPError是URLError的一個(gè)子類(lèi)，用于處理特殊HTTP錯(cuò)誤例如作為認(rèn)證請(qǐng)求的時(shí)候，包含的屬性code為HTTP的狀態(tài)碼，reason為引發(fā)異常的原因，headers為導(dǎo)致HTTPError的特定HTTP請(qǐng)求的HTTP響應(yīng)頭。

異常處理

用tryexcept語(yǔ)句塊捕獲并處理異常，其基本語(yǔ)法結(jié)構(gòu)如下所示：

try:可能產(chǎn)生異常的代碼塊

except[(Error1,Error2,)[ase]]:處理異常的代碼塊1

except[(Error3,Error4,)[ase]]:處理異常的代碼塊2

except[Exception]:處理其它異常

實(shí)例：

原url=/p/3388cf148dba

源碼：

importurllib.request

importurllib.error

url='1/p/3388cf148dba'

#url的組成eg：/swd=易烊千璽

#1.協(xié)議（http/https）2.主機(jī)（）3.端口號(hào)（80/443）4.路徑（s）5.參數(shù)（wd=易烊千璽）6.錨點(diǎn)

#常見(jiàn)的端口號(hào)

#http（80）https（443）mysql(3306)oracle(1521)redis(6379)mongodb(27017)

headers={

'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/98.0.4758.102Safari/537.36'

request=urllib.request.Request(url=url,headers=headers)

response=urllib.request.urlopen(request)

content=response.read().decode('utf8')

print(content)

excepturllib.error.HTTPError:

print('HTTP異常，請(qǐng)稍后！')

excepturllib.error.URLError:

print('URL異常，請(qǐng)稍后！')

1.URLError

url=1/p/3388cf148dba

運(yùn)行結(jié)果：

2.HTTPError

url=/p/3388cf148dba111

運(yùn)行結(jié)果：

由于HTTPRError