【HC】python大文件切割

无名

"""
例如:一个1T文件,需要切割成10小文件,可采用均匀洒水方式进行切割.
完美运行!
"""
import os

source_file_path = r'bigfile.csv'
target_file_dir = os.path.join(os.path.dirname(os.path.abspath(__file__)), 'splits')
target_file_count = 10
target_file_list = [open(target_file_dir + '/%s.csv' % x, 'a+', encoding='utf-8-sig') for x in range(target_file_count)]
# print(target_file_list)

with open(source_file_path, 'r', encoding='utf-8-sig') as source_file:  # 打开原始文件
    for index, source_file_line in enumerate(source_file):  # 读原始文件每一行
        target_file_index = index % 10  # 任何一个数 %10 产生 0-9的数,刚好为target_file_list下标
        target_file_list[target_file_index].write(source_file_line)