首页 / LINUX / 按行切割大文件（linux split 命令简版）

按行切割大文件（linux split 命令简版）

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了按行切割大文件（linux split 命令简版），小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含1047字，纯文字阅读大概需要2分钟。

内容图文

按行切割大文件（linux split 命令简版）

#-*- coding:utf-8 -*-
__author__ = ‘KnowLifeDeath‘

‘‘‘
Linux上Split命令可以方便对大文件进行分割，该PY脚本是在Windows上按指定行数切割文件
Python Version: 2.7
‘‘‘

import time
import sys

print time.strftime(‘%Y-%m-%d %H:%M:%S‘, time.localtime(time.time()))

‘‘‘需要初始化参数‘‘‘
BigFile = "E:\Data\Big.txt"
OneUnitEnd = 1000000 #分割块行数
ZeroFillWidth = 3 #zfill参数是小文件的序号编码长度


seed = 0 #当前块的计数
UnitNo = 0 #当前块序号

fSmallFile = open(‘{0}\Samll{1}.txt‘.format(sys.path[0], ‘0‘.zfill(ZeroFillWidth)),‘w‘)

fBigFile = open(BigFile)
for line in fBigFile:
    rawLineData = line.strip(‘\n‘).strip()
    if len(rawLineData) != 0:
        seed +=1
        fSmallFile.write(‘{0}\n‘.format(rawLineData))
        if seed == OneUnitEnd:
            fSmallFile.close()
            seed = 0
            UnitNo += 1
            fSmallFile = open(‘{0}\\Samll{1}.txt‘.format(sys.path[0], str(UnitNo).zfill(ZeroFillWidth)), ‘w‘)

#最后一个small文件可能是空文件（整分时）
#a/w模式速度区别不大,亿级数据都是1分半到2分之间搞定
#close多次不会有问题
fSmallFile.close()

print time.strftime(‘%Y-%m-%d %H:%M:%S‘, time.localtime(time.time()))

 

原文：http://www.cnblogs.com/know-life-death/p/6362072.html

内容总结

以上是互联网集市为您收集整理的按行切割大文件（linux split 命令简版）全部内容，希望文章能够帮你解决按行切割大文件（linux split 命令简版）所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1096809.html

来源：【匿名】