零基礎(chǔ)學習Python爬蟲

第零基礎(chǔ)學習Python爬蟲--codeing=utf-8--，開頭的這個是設(shè)置編碼為utf-8，寫在開頭，防止亂碼。

然后下面import就是導入一些庫，做做準備工作，（sqlite3這庫我并沒有用到所以我注釋起來了）。

下面一些find開頭的是正則表達式，是用來我們篩選信息的。

（正則表達式用到re庫，也可以不用正則表達式，不是必須的。）

大體流程分三步走：

1.爬取網(wǎng)頁

2.逐一解析數(shù)據(jù)

3.保存網(wǎng)頁

先分析流程

1.爬取網(wǎng)頁

baseurl就是我們要爬蟲的網(wǎng)頁網(wǎng)址，往下走，調(diào)用了getData（baseurl),

我們來看getData方法

foriinrange(0,10):#調(diào)用獲取頁面信息的函數(shù)，10次

url=baseurl+str(i*25)

這段大家可能看不懂，其實是這樣的：

因為電影評分Top250，每個頁面只顯示25個，所以我們需要訪問頁面10次，25*10=250。

baseurl="/top250start="

我們只要在baseurl后面加上數(shù)字就會跳到相應(yīng)頁面，比如i=1時

/top250start=25

我放上超鏈接，大家可以點擊看看會跳到哪個頁面，畢竟實踐出真知。

然后又調(diào)用了askURL來請求網(wǎng)頁，這個方法是請求網(wǎng)頁的主體方法，

怕大家翻頁麻煩，我再把代碼復制一遍，讓大家有個直觀感受

defaskURL(url):

head={#模擬瀏覽器頭部信息，向豆瓣服務(wù)器發(fā)送消息

"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/80.0.3987.122Safari/537.36"

#用戶代理，表示告訴豆瓣服務(wù)器，我們是什么類型的機器、瀏覽器（本質(zhì)上是告訴瀏覽器，我們可以接收什么水平的文件內(nèi)容）

request=urllib.request.Request(url,headers=head)

html=""

try:

response=urllib.request.urlopen(request)

html=response.read().decode("utf-8")

excepturllib.error.URLErrorase:

ifhasattr(e,"code"):

print(e.code)

ifhasattr(e,"reason"):

print(e.reason)

returnhtml

這個askURL就是用來向網(wǎng)頁發(fā)送請求用的，那么這里就有老鐵問了，為什么這里要寫個head呢？

這是因為我們要是不寫的話，訪問某些網(wǎng)站的時候會被認出來爬蟲，顯示錯誤，錯誤代碼

418

這是一個梗大家可以百度下，

418I'mateapot

TheHTTP418I'mateapotclienterrorresponsecodeindicatesthat

theserverrefusestobrewcoffeebecauseitisateapot.Thiserror

isareferencetoHyperTextCoffeePotControlProtocolwhichwasan

AprilFools'jokein1998.

我是一個茶壺

所以我們需要“裝”，裝成我們就是一個瀏覽器，這樣就不會被認出來，

偽裝一個身份。

來，我們繼續(xù)往下走，

html=response.read().decode("utf-8")

這段就是我們讀取網(wǎng)頁的內(nèi)容，設(shè)置編碼為utf-8，目的就是為了防止亂碼。

訪問成功后，來到了第二個流程：

2.逐一解析數(shù)據(jù)

解析數(shù)據(jù)這里我們用到了BeautifulSoup（靚湯）這個庫，這個庫是幾乎是做爬蟲必備的庫，無論你是什么寫法。

下面就開始查找符合我們要求的數(shù)據(jù)，用BeautifulSoup的方法以及re庫的

正則表達式去匹配，

findLink=pile(r'ahref="(.*)"rel="externalnofollow"rel="externalnofollow"')#創(chuàng)建正則表達式對象，標售規(guī)則影片詳情鏈接的規(guī)則

findImgSrc=pile(r'img.*src="(.*)"',re.S)

findTitle=pile(r'span(.*)/span')

findRating=pile(r'spanproperty="v:average"(.*)/span')

findJudge=pile(r'span(\d*)人評價/span')

findInq=pile(r'span(.*)/span')

findBd=pile(r'pclass=""(.*)/p',re.S)

匹配到符合我們要求的數(shù)據(jù)，然后存進dataList，所以dataList里就存放著我們需要的數(shù)據(jù)了。

最后一個流程：

3.保存數(shù)據(jù)

#3.保存數(shù)據(jù)

saveData(datalist,savepath)#2種存儲方式可以只選擇一種

#saveData2DB(datalist,dbpath)

保存數(shù)據(jù)可以選擇保存到xls表，需要（xlwt庫支持）

也可以選擇保存數(shù)據(jù)到sqlite數(shù)據(jù)庫，需要（sqlite3庫支持）

這里我選擇保存到xls表，這也是為什么我注釋了一大堆代碼，注釋的部分就是保存到sqlite數(shù)據(jù)庫的代碼，二者選一就行

保存到xls的主體方法是saveData（下面的saveData2DB方法是保存到sqlite數(shù)據(jù)庫）：

defsaveData(datalist,savepath):

print("save.......")

book=xlwt.Workbook(encoding="utf-8",style_compression=0)#創(chuàng)建workbook對象

sheet=book.add_sheet('豆瓣電影Top250',cell_overwrite_ok=True)#創(chuàng)建工作表

col=("電影詳情鏈接","圖片鏈接","影片中文名","影片外國名","評分","評價數(shù)","概況","相關(guān)信息")

foriinrange(0,8):

sheet.write(0,i,col[i])#列名

foriinrange(0,250):

#print("第%d條"%(i+1))#輸出語句，用來測試

data=datalist[i]

forjinrange(0,8):

sheet.write(i+1,j,data[j])#數(shù)據(jù)

book.save(savepath)#保存

創(chuàng)建工作表，創(chuàng)列（會在當前目錄下創(chuàng)建），

sheet=book.add_sheet('豆瓣電影Top250',cell_overwrite_ok=True)#創(chuàng)建工作表

col=("電影詳情鏈接","圖片鏈接","影片中文名","影片外國名","評分","評價數(shù)","概況","相關(guān)信息")

然后把dataList里的數(shù)據(jù)一條條存進去就行。