如何使用 boto3 在 Wasabi / S3 中创建大量测试文件

import boto3
import concurrent.futures
executor = concurrent.futures.ThreadPoolExecutor(64)

from tqdm import tqdm
import concurrent.futures
def tqdm_parallel_map(executor, fn, *iterables, **kwargs):
    """
    等同于 executor.map(fn, *iterables)，
    但显示基于 tqdm 的进度条。

    不支持 timeout 或 chunksize，因为内部使用 executor.submit

    **kwargs 传递给 tqdm。
    """
    futures_list = []
    for iterable in iterables:
        futures_list += [executor.submit(fn, i) for i in iterable]
    for f in tqdm(concurrent.futures.as_completed(futures_list), total=len(futures_list), **kwargs):
        yield f.result()

# 创建到 Wasabi / S3 的连接
s3 = boto3.resource('s3',
    endpoint_url = 'https://s3.eu-central-1.wasabisys.com',
    aws_access_key_id = 'MY_ACCESS_KEY',
    aws_secret_access_key = 'MY_SECRET_KEY'
)

# 获取 bucket 对象
boto_test_bucket = s3.Bucket('boto-test')

def create_s3_object(i, directory):
    # 创建测试数据
    buf = io.BytesIO()
    buf.write(f"{i}".encode())
    # 重置读取指针。不要忘记此步骤，否则所有上传的文件将为空！
    buf.seek(0)

    # 上传文件
    boto_test_bucket.upload_fileobj(buf, f"{directory}/{i}.txt")

for _ in tqdm_parallel_map(executor, lambda i: create_s3_object(i, directory="10k-Test-Objects"), range(1, 10001)):
    pass