使用python进行拆分大文件的方法
时间：2020-12-07 16:55:01 | 栏目：Python代码 | 点击：次
python按指定行数把大文件进行拆分
如图大文件有7000多万行，大小为16G
需要拆分成多个200万行的小文件
代码如下：
# -*- coding:utf-8 -*-
from datetime import datetime
def Main():
source_dir = '/data/u_lx_data/zhangqm/sh/yanjie/liuxuesheng/jz_yuanshi_list0206.txt'
target_dir = '/data/u_lx_data/zhangqm/sh/yanjie/liuxuesheng/split/'
# 计数器
flag = 0
# 文件名
name = 1
# 存放数据
dataList = []
print("开始。。。。。")
print(datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
with open(source_dir,'r') as f_source:
for line in f_source:
flag+=1
dataList.append(line)
if flag == 2000000:
with open(target_dir+"jz_yuanshi_list_"+str(name)+".txt",'w+') as f_target:
for data in dataList:
f_target.write(data)
name+=1
flag = 0
dataList = []
# 处理最后一批行数少于200万行的
with open(target_dir+"jz_yuanshi_list_"+str(name)+".txt",'w+') as f_target:
for data in dataList:
f_target.write(data)
print("完成。。。。。")
print(datetime.now().strftime('%Y-%m-%d %H:%M:%S'))
if __name__ == "__main__":
Main()
结果如下：
总共产生39个文件，最后一个文件行数760821，这样就OK啦
经测试16G文件所需时间如图：不到两分钟
