python 簡單的股票基金爬蟲

第python簡單的股票基金爬蟲1.首先，開始分析天天基金網(wǎng)的一些數(shù)據(jù)。經(jīng)過抓包分析，可知:./fundcode_search.js包含所有基金代碼的數(shù)據(jù)。

2.根據(jù)基金代碼，訪問地址:/js/+基金代碼+.js可以獲取基金實(shí)時(shí)凈值和估值信息。

3.根據(jù)基金代碼，訪問地址:/FundArchivesDatas.aspxtype=jjcccode=+基金代碼+topline=10year=2025month=3可以獲取第一季度該基金所持倉的股票。

4.由于這些地址具有反爬機(jī)制，多次訪問將會(huì)失敗的情況。所以需要搭建IP代理池，用于反爬。搭建很簡單，只需要將proxy_pool這個(gè)項(xiàng)目跑起來就行了。

#通過這個(gè)方法就能獲取代理

defget_proxy():

returnrequests.get(":5010/get/").json()

5.搭建完IP代理池后，我們開始著手多線程爬取數(shù)據(jù)的工作。使用多線程，需要考慮到數(shù)據(jù)的讀寫順序問題。這里使用python中的隊(duì)列queue存儲(chǔ)基金代碼，不同線程分別從這個(gè)queue中獲取基金代碼，并訪問指定基金的數(shù)據(jù)。因?yàn)閝ueue的讀取和寫入是阻塞的，所以可確保該過程不會(huì)出現(xiàn)讀取重復(fù)和讀取丟失基金代碼的情況。

#獲取所有基金代碼

fund_code_list=get_fund_code()

fund_len=len(fund_code_list)

#創(chuàng)建一個(gè)隊(duì)列

fund_code_queue=queue.Queue(fund_len)

#寫入基金代碼數(shù)據(jù)到隊(duì)列

foriinrange(fund_len):

#fund_code_list[i]也是list類型，其中該list中的第0個(gè)元素存放基金代碼

fund_code_queue.put(fund_code_list[i][0])

6.現(xiàn)在開始編寫獲取所有基金的代碼。

#獲取所有基金代碼

defget_fund_code():

#訪問網(wǎng)頁接口

req=requests.get("/js/fundcode_search.js",

timeout=5,

headers=header)

#解析出基金代碼存入list中

returnfund_code_list

7.接下來是從隊(duì)列中取出基金代碼，同時(shí)獲取基金詳情和基金持倉的股票。

#當(dāng)隊(duì)列不為空時(shí)

whilenotfund_code_queue.empty():

#從隊(duì)列讀取一個(gè)基金代碼

#讀取是阻塞操作

fund_code=fund_code_queue.get()

try:

#使用該基金代碼進(jìn)行基金詳情和股票持倉請(qǐng)求

8.獲取基金詳情

#使用代理訪問

req=requests.get(

"/js/"+str(fund_code)+".js",

proxies={"http":"http://{}".format(proxy)},

timeout=3,

headers=header,

#解析返回?cái)?shù)據(jù)

9.獲取持倉股票信息

#獲取股票投資明細(xì)

req=requests.get(

"/FundArchivesDatas.aspxtype=jjcccode="

+str(fund_code)+"topline=10year=2025month=3",

proxies={"http":"http://{}".format(proxy)},

timeout=3,

headers=header,

#解析返回?cái)?shù)據(jù)

10.準(zhǔn)備一個(gè)數(shù)據(jù)庫，用于存儲(chǔ)數(shù)據(jù)和對(duì)數(shù)據(jù)進(jìn)行篩選分析。這里推薦一個(gè)方便的云數(shù)據(jù)庫，一鍵創(chuàng)建，一鍵查詢，十分方便，而且是免費(fèi)的哦。前往MemFireDB注冊(cè)一個(gè)賬號(hào)就能使用。注冊(cè)邀請(qǐng)碼：6mxJl6、6mYjGY；

11.創(chuàng)建好數(shù)據(jù)庫后，點(diǎn)擊連接信息填入代碼中，用于連接數(shù)據(jù)庫。

#初始化數(shù)據(jù)庫連接:

engine=create_engine(

'postgresql+psycopg2://username:password@ip:5433/dbname')

12.將數(shù)據(jù)寫入數(shù)據(jù)庫中。

withget_session()ass:

#createfund

if(create):

s.add(fund)

mit()

13.到這里，大部分工作已經(jīng)完成了，我們?cè)趍ain函數(shù)中開啟線程，開始爬取。

#在一定范圍內(nèi)，線程數(shù)越多，速度越快

foriinrange(50):

t=threading.Thread(target=get_fund_data,name="LoopThread"+str(i))

t.start()

14.等到爬蟲運(yùn)行完成之后，我們打開MemFireDB，點(diǎn)擊對(duì)應(yīng)數(shù)據(jù)庫的SQL查詢按鈕，就可以查看我們爬取的數(shù)據(jù)。哇！我們獲取到了6432條數(shù)據(jù)。

15.接下來讓我們來看看這些基金最喜歡買哪些股票吧。輸入SQL語句selectposcode,posname,count(*)ascount,cast(sum(poscost)asint)fromfundgroupby