Python使用BeautifulSoup4修改網(wǎng)頁(yè)內(nèi)容的實(shí)戰(zhàn)記錄

第Python使用BeautifulSoup4修改網(wǎng)頁(yè)內(nèi)容的實(shí)戰(zhàn)記錄最近有個(gè)小項(xiàng)目，需要爬取頁(yè)面上相應(yīng)的資源數(shù)據(jù)后，保存到本地，然后將原始的HTML源文件保存下來，對(duì)HTML頁(yè)面的內(nèi)容進(jìn)行修改將某些標(biāo)簽整個(gè)給替換掉。

對(duì)于這類需要對(duì)HTML進(jìn)行操作的需求，最方便的莫過于BeautifulSoup4的庫(kù)了。

樣例的HTML代碼如下：

html

body

ahref="/wp-content/uploads/1020/1381824922.JPG"rel="externalnofollow"rel="externalnofollow"

imgsrc="/wp-content/uploads/1020/1381824922_zy_compress.JPG"data-zy-media-id="zy_location_201310151613422786"/

ahref="/wp-content/uploads/1020/第一張_1381824798.JPG"rel="externalnofollow"rel="externalnofollow"

imgdata-zy-media-id="zy_image_201310151613169945"src="/wp-content/uploads/1020/第一張_1381824798_zy_compress.JPG"http://a

ahref="/wp-content/uploads/1020/第二張_1381824796.jpg"rel="externalnofollow"rel="externalnofollow"

imgdata-zy-media-id="zy_image_201310151613163009"src="/wp-content/uploads/1020/第二張_1381824796_zy_compress.jpg"/

ahref="/wp-content/uploads/1020/第三張.jpg"rel="externalnofollow"rel="externalnofollow"

imgdata-zy-media-id="zy_image_201312311838584446"src="/wp-content/uploads/1020/第三張_zy_compress.jpg"/

/body

/html

這里主要包括了a標(biāo)簽，a標(biāo)簽里面嵌入了img標(biāo)簽，其中有a>

也就是將帶有的a>

div

videocontrolswidth="100%"poster="視頻鏈接的圖片地址.jpg"

sourcesrc="視頻文件的靜態(tài)地址.mp4"type="video/mp4"/

您的瀏覽器不支持H5視頻，請(qǐng)使用Chrome/Firefox/Edge瀏覽器。

/video

/div

將a....img...//a標(biāo)簽換成

figure

imgsrc="圖片地址_compressed.jpg"data-zy-media-id="圖片地址.jpg"

figcaption文字說明（如果有）/figcaption

/figure

這里通過BeautifulSoup4的select()方法找到標(biāo)簽，通過get()方法獲取標(biāo)簽及標(biāo)簽屬性值，通過replaceWith來替換標(biāo)簽，具體代碼如下：

首先安裝BeautifulSoup4的庫(kù)，BeautifulSoup4庫(kù)依賴于lxml庫(kù)，所以也需要安裝lxml庫(kù)。

pipinstallbs4

pipinstalllxml

具體代碼實(shí)現(xiàn)如下：

importos

frombs4importBeautifulSoup

htmlstr='htmlbody'\

'ahref="/wp-content/uploads/1020/1381824922.JPG"rel="externalnofollow"rel="externalnofollow"'\

'imgsrc="/wp-content/uploads/1020/1381824922_zy_compress.JPG"data-zy-media-id="zy_location_201310151613422786"http://a'\

'ahref="/wp-content/uploads/1020/第一張_1381824798.JPG"rel="externalnofollow"rel="externalnofollow"'\

'imgdata-zy-media-id="zy_image_201310151613169945"src="/wp-content/uploads/1020/第一張_1381824798_zy_compress.JPG"http://a'\

'ahref="/wp-content/uploads/1020/第二張_1381824796.jpg"rel="externalnofollow"rel="externalnofollow"'\

'imgdata-zy-media-id="zy_image_201310151613163009"src="/wp-content/uploads/1020/第二張_1381824796_zy_compress.jpg"http://a'\

'ahref="/wp-content/uploads/1020/第三張.jpg"rel="externalnofollow"rel="externalnofollow"'\

'imgdata-zy-media-id="zy_image_201312311838584446"src="/wp-content/uploads/1020/第三張_zy_compress.jpg"http://a'\

'/body/html'

defprocHtml(htmlstr):

soup=BeautifulSoup(htmlstr,'lxml')

a_tags=soup.select('a')

fora_tagina_tags:

a_tag_src=a_tag.get('href')

a_tag_filename=os.path.basename(a_tag_src)

a_tag_path=os.path.join('src',a_tag_filename)

a_tag['href']=a_tag_path

next_tag=a_tag.next

#判斷是視頻還是圖片，如果a標(biāo)簽帶了是視頻否則是圖片

ifa_tag.get('class')and'videoslide'==a_tag.get('class')[0]:

#處理視頻文件

media_id=next_tag.get('data-zy-media-id')

ifmedia_id:

media_url='/travel/show_media/'+str(media_id)+'.mp4'

media_filename=os.path.basename(media_url)

media_path=os.path.join('src',media_filename)

#將div.video標(biāo)簽替換a標(biāo)簽

video_html='div"video\"videocontrolswidth=\"100%\"poster=\"'+a_tag_path+'\"sourcesrc=\"'+media_path+'\"type=\"video/mp4\"/您的瀏覽器不支持H5視頻，請(qǐng)使用Chrome/Firefox/Edge瀏覽器。/video/div'

video_soup=BeautifulSoup(video_html,'lxml')

a_tag.replaceWith(video_soup.div)

else:

#獲取圖片信息

if'img'==next_:

img_src=next_tag.get('src')

#判斷是否路徑是否為本地資源data:image和file:

ifimg_src.find('data:image')==-1andimg_src.find('file:')==-1:

img_filename=os.path.basename(img_src)

img_path=os.path.join('src',img_filename)

#將figureimg標(biāo)簽替換a標(biāo)簽

figcaption=''

figure_html='figureimgsrc=\"'+img_path+'\"data-zy-media-id=\"'+a_tag_path+'\"figcaption'+figcaption+'/figcaption/figure'

figure_soup=BeautifulSoup(figure_html,'lxml')

a_tag.replaceWith(figure_soup.figure)

html_content=soup.contents[0]

returnhtml_content

if__name__=='__main__':

pro_html_str=procHtml(htmlstr)

print(pro_html_str)

結(jié)果:

html

body

div

videocontrols=""poster="src\1381824922.JPG"width="100%"

sourcesrc="src\zy_location_201310151613422786.mp4"type="video/mp4"/您的瀏覽器不支持H5視頻，請(qǐng)使用Chrome/Firefox/Edge瀏覽器。

/video

/div

figure

imgdata-zy-media-id="src\第一張_1381824798.JPG"src="src\第一張_1381824798_zy_compress.JPG"/

figcaption/figcaption

/figure

figure

imgdata-zy-media-id="