Jmeter并發(fā)執(zhí)行Python 腳本的完整流程

第Jmeter并發(fā)執(zhí)行Python腳本的完整流程目錄1.前言2.Python實現(xiàn)文件上傳2-1獲取文件信息及切片數(shù)目2-2切片及分段上傳2-3合并文件2-4文件路徑參數(shù)化3.Jmeter并發(fā)執(zhí)行4.最后本篇文章以文件上傳為例，聊聊Jmeter并發(fā)執(zhí)行Python腳本的完整流程

1.前言

大家好，我是安果！

最近有小伙伴后臺給我留言，說自己用Django寫了一個大文件上傳的Api接口，現(xiàn)在想本地檢驗一下接口并發(fā)的穩(wěn)定性，問我有沒有好的方案

本篇文章以文件上傳為例，聊聊Jmeter并發(fā)執(zhí)行Python腳本的完整流程

2.Python實現(xiàn)文件上傳

大文件上傳包含3個步驟，分別是：

獲取文件信息及切片數(shù)目

分段切片，并上傳-API

文件合并-API

文件路徑參數(shù)化

2-1獲取文件信息及切片數(shù)目

首先，獲取文件的大小

然后，利用預(yù)設(shè)的切片大小獲取分段總數(shù)

最后，獲取文件名及md5值

importos

importmath

importhashlib

defget_file_md5(self,file_path):

"""獲取文件的md5值"""

withopen(file_path,'rb')asf:

data=f.read()

returnhashlib.md5(data).hexdigest()

defget_filename(self,filepath):

"""獲取文件原始名稱"""

#文件名帶后綴

filename_with_suffix=os.path.basename(filepath)

#文件名

filename=filename_with_suffix.split('.')[0]

#后綴名

suffix=filename_with_suffix.split('.')[-1]

returnfilename_with_suffix,filename,suffix

defget_chunk_info(self,file_path):

"""獲取分段信息"""

#獲取文件總大小(字節(jié))

file_total_size=os.path.getsize(file_path)

print(file_total_size)

#分段總數(shù)

total_chunks_num=math.ceil(file_total_size/self.chunk_size)

#文件名（帶后綴）

filename=self.get_filename(file_path)[0]

#文件的md5值

file_md5=self.get_file_md5(file_path)

returnfile_total_size,total_chunks_num,filename,file_md5

2-2切片及分段上傳

利用分段總數(shù)和分段大小，對文件進(jìn)行切片，調(diào)用分段文件上傳接口

importrequests

defdo_chunk_and_upload(self,file_path):

"""將文件分段處理，并上傳"""

file_total_size,total_chunks_num,filename,file_md5=self.get_chunk_info(file_path)

#遍歷

forindexinrange(total_chunks_num):

print('第{}次文件上傳'.format(index+1))

ifindex+1==total_chunks_num:

partSize=file_total_size%chunk_size

else:

partSize=chunk_size

#文件偏移量

offset=index*chunk_size

#生成分片id,從1開始

chunk_id=index+1

print('開始準(zhǔn)備上傳文件')

print("分片id:",chunk_id,"文件偏移量：",offset,",當(dāng)前分片大小:",partSize,)

#分段上傳文件

self.__upload(offset,chunk_id,file_path,file_md5,filename,partSize,total_chunks_num)

def__upload(self,offset,chunk_id,file_path,file_md5,filename,partSize,total):

"""分次上傳文件"""

url='http://**/file/brust/upload'

params={'chunk':chunk_id,

'fileMD5':file_md5,

'fileName':filename,

'partSize':partSize,

'total':total

#根據(jù)文件路徑及偏移量，讀取文件二進(jìn)制數(shù)據(jù)

current_file=open(file_path,'rb')

current_file.seek(offset)

files={'file':current_file.read(partSize)}

resp=requests.post(url,params=params,files=files).text

print(resp)

2-3合并文件

最后調(diào)用合并文件的接口，將分段小文件合成大文件

defmerge_file(self,filepath):

"""合并"""

url='http://**/file/brust/merge'

file_total_size,total_chunks_num,filename,file_md5=self.get_chunk_info(filepath)

payload=json.dumps(

"fileMD5":file_md5,

"chunkTotal":total_chunks_num,

"fileName":filename

print(payload)

headers={

"Content-Type":"application/json"

resp=requests.post(url,headers=headers,data=payload).text

print(resp)

2-4文件路徑參數(shù)化

為了并發(fā)執(zhí)行，將文件上傳路徑參數(shù)化

#fileupload.py

if__name__=='__main__':

filepath=sys.argv[1]

#每一段切片的大小(MB)

chunk_size=2*1024*1024

fileApi=FileApi(chunk_size)

#分段上傳

fileApi.do_chunk_and_upload(filepath)

#合并

fileApi.merge_file(filepath)

3.Jmeter并發(fā)執(zhí)行

在使用Jmeter創(chuàng)建并發(fā)流程前，我們需要編寫批處理腳本

其中，執(zhí)行批處理腳本時，需要跟上文件路徑一起執(zhí)行

#cmd.bat

@echooff

setfilepath=%1

pythonC:\Users\xingag\Desktop\rpc_demo\fileupload.py%*

然后，在本地新建一個CSV文件，寫入多個文件路徑

C:\\Users\\xingag\\Desktop\\charles-proxy-4.6.1-win64.msi

C:\\Users\\xingag\\Desktop\\V2.0.pdf

C:\\Users\\xingag\\Desktop\\HBuilder1.zip

C:\\Users\\xingag\\Desktop\\HBuilder2.zip

接著，就可以使用Jmeter創(chuàng)建并發(fā)流程了

完整步驟如下：

創(chuàng)建一個測試計劃，下面添加一個線程組

這里線程組數(shù)目與上面文件數(shù)目保持一致即可

線程組下，添加「同步定時器」

同步定時器中的「模擬用戶組的數(shù)量」和上面參數(shù)數(shù)量保持一致

添加CSV數(shù)據(jù)文件設(shè)置

指向上面準(zhǔn)備的csv數(shù)據(jù)文件，設(shè)置文件格式為UTF-8，變量名稱設(shè)置為file_path，最后將線