[[422049]]

本文轉(zhuǎn)載自微信公眾號「AirPython」，作者星安果。轉(zhuǎn)載本文請聯(lián)系A(chǔ)irPython公眾號。

1. 前言

大家好，我是安果!

最近有小伙伴后臺給我留言，說自己用 Django 寫了一個大文件上傳的 Api 接口，現(xiàn)在想本地檢驗一下接口并發(fā)的穩(wěn)定性，問我有沒有好的方案

本篇文章以文件上傳為例，聊聊 Jmeter 并發(fā)執(zhí)行 Python 腳本的完整流程

2. Python 實現(xiàn)文件上傳

大文件上傳包含 3 個步驟，分別是：

• 獲取文件信息及切片數(shù)目
• 分段切片，并上傳 - API
• 文件合并 - API
• 文件路徑參數(shù)化

2-1 獲取文件信息及切片數(shù)目

首先，獲取文件的大小

然后，利用預(yù)設(shè)的切片大小獲取分段總數(shù)

最后，獲取文件名及 md5 值

import os 
import math 
import hashlib 
 
def get_file_md5(self, file_path): 
    """獲取文件的md5值""" 
    with open(file_path, 'rb') as f: 
         data = f.read() 
         return hashlib.md5(data).hexdigest() 
 
def get_filename(self, filepath): 
    """獲取文件原始名稱""" 
    # 文件名帶后綴 
    filename_with_suffix = os.path.basename(filepath) 
    # 文件名 
    filename = filename_with_suffix.split('.')[0] 
    # 后綴名 
    suffix = filename_with_suffix.split('.')[-1] 
    return filename_with_suffix, filename, suffix 
 
def get_chunk_info(self, file_path): 
    """獲取分段信息""" 
    # 獲取文件總大小(字節(jié)) 
    file_total_size = os.path.getsize(file_path) 
    print(file_total_size) 
 
    # 分段總數(shù) 
    total_chunks_num = math.ceil(file_total_size / self.chunk_size) 
    # 文件名（帶后綴） 
    filename = self.get_filename(file_path)[0] 
    # 文件的md5值 
    file_md5 = self.get_file_md5(file_path) 
    return file_total_size, total_chunks_num, filename, file_md5 

2-2 切片及分段上傳

利用分段總數(shù)和分段大小，對文件進行切片，調(diào)用分段文件上傳接口

import requests 
 
def do_chunk_and_upload(self, file_path): 
    """將文件分段處理，并上傳""" 
    file_total_size, total_chunks_num, filename, file_md5 = self.get_chunk_info(file_path) 
 
    # 遍歷 
    for index in range(total_chunks_num): 
        print('第{}次文件上傳'.format(index + 1)) 
        if index + 1 == total_chunks_num: 
            partSize = file_total_size % chunk_size 
        else: 
            partSize = chunk_size 
 
        # 文件偏移量 
        offset = index * chunk_size 
 
        # 生成分片id,從1開始 
        chunk_id = index + 1 
 
        print('開始準備上傳文件') 
        print("分片id:", chunk_id, "文件偏移量：", offset, ",當(dāng)前分片大小:", partSize, ) 
 
        # 分段上傳文件 
        self.__upload(offset, chunk_id, file_path, file_md5, filename, partSize, total_chunks_num) 
 
def __upload(self, offset, chunk_id, file_path, file_md5, filename, partSize, total): 
    """分次上傳文件""" 
    url = 'http://**/file/brust/upload' 
    params = {'chunk': chunk_id, 
                'fileMD5': file_md5, 
                'fileName': filename, 
                'partSize': partSize, 
                'total': total 
                } 
    # 根據(jù)文件路徑及偏移量，讀取文件二進制數(shù)據(jù) 
    current_file = open(file_path, 'rb') 
    current_file.seek(offset) 
 
    files = {'file': current_file.read(partSize)} 
    resp = requests.post(url, params=params, files=files).text 
    print(resp) 

2-3 合并文件

最后調(diào)用合并文件的接口，將分段小文件合成大文件

def merge_file(self, filepath): 
        """合并""" 
        url = 'http://**/file/brust/merge' 
        file_total_size, total_chunks_num, filename, file_md5 = self.get_chunk_info(filepath) 
        payload = json.dumps( 
            { 
                "fileMD5": file_md5, 
                "chunkTotal": total_chunks_num, 
                "fileName": filename 
            } 
        ) 
        print(payload) 
        headers = { 
            "Content-Type": "application/json" 
        } 
        resp = requests.post(url, headers=headers, data=payload).text 
        print(resp) 

2-4 文件路徑參數(shù)化

為了并發(fā)執(zhí)行，將文件上傳路徑參數(shù)化

# fileupload.py 
... 
if __name__ == '__main__': 
    filepath = sys.argv[1] 
 
    # 每一段切片的大小(MB) 
    chunk_size = 2 * 1024 * 1024 
 
    fileApi = FileApi(chunk_size) 
    # 分段上傳 
    fileApi.do_chunk_and_upload(filepath) 
 
    # 合并 
    fileApi.merge_file(filepath) 

3. Jmeter 并發(fā)執(zhí)行

在使用 Jmeter 創(chuàng)建并發(fā)流程前，我們需要編寫批處理腳本

其中，執(zhí)行批處理腳本時，需要跟上文件路徑一起執(zhí)行

# cmd.bat 
 
@echo off 
set filepath=%1 
 
python  C:\Users\xingag\Desktop\rpc_demo\fileupload.py %* 

然后，在本地新建一個 CSV 文件，寫入多個文件路徑

# 準備多個文件路徑（csv） 
C:\\Users\\xingag\\Desktop\\charles-proxy-4.6.1-win64.msi 
C:\\Users\\xingag\\Desktop\\V2.0.pdf 
C:\\Users\\xingag\\Desktop\\HBuilder1.zip 
C:\\Users\\xingag\\Desktop\\HBuilder2.zip 

接著，就可以使用 Jmeter 創(chuàng)建并發(fā)流程了

完整步驟如下：

• 創(chuàng)建一個測試計劃，下面添加一個線程組

這里線程組數(shù)目與上面文件數(shù)目保持一致即可

• 線程組下，添加「 同步定時器 」

同步定時器中的「 模擬用戶組的數(shù)量 」和上面參數(shù)數(shù)量保持一致

• 添加 CSV 數(shù)據(jù)文件設(shè)置

指向上面準備的 csv 數(shù)據(jù)文件，設(shè)置文件格式為 UTF-8，變量名稱設(shè)置為 file_path，最后將線程共享模式設(shè)置為「 當(dāng)前線程組 」

• 添加調(diào)試取樣器，方便調(diào)試
• 添加 OS 進程取樣器

選擇上面創(chuàng)建的批處理文件，命令行參數(shù)設(shè)置為「 ${file_path} 」

• 添加查看結(jié)果數(shù)

4. 最后

運行上面創(chuàng)建的 Jmeter 并發(fā)流程，在結(jié)果數(shù)中可以查看并發(fā)上傳文件的結(jié)果

當(dāng)然，我們可以增加并發(fā)數(shù)量去模擬真實的使用場景，只需要修改 CSV 數(shù)據(jù)源及 Jmeter 參數(shù)即可