dd命令可以轻易实现创建指定大小的文件，如dd if=/dev/zero of=test bs=1M count=1000会生成一个1000M的test文件，文件内容为全0（因从/dev/zero中读取，/dev/zero为0源）但是这样为实际写入硬盘，文件产生速度取决于硬盘读写速度，如果欲产生超大文件，速度很慢在某种场景下，我们只想让文件系统认为存在一个超大文件在此，但是并不实际写入硬盘则可以dd if=/dev/zero of=test bs=1M count=0 seek=100000此时创建的文件在文件系统...
当面临将一个大文件进行切分时，linux的split命令是很好的选择。它包含多种参数，支持按行、大小进行切分。split命令的语法如下：split [--help][--version][-a ][-b][-C ][-l ][要切割的文件][输出文件名前缀]对应的参数描述如下： -a, --suffix-length=N使用的后缀长度 (默认为 2) -b, --bytes=SIZE每个输出文件的字节大小 -C, --line-bytes=SIZE每个输出文件每行的最大字节大小 -d, --numeric-suffixes使用数字后缀代替字母后缀...
在开发运维的时候我们常常会遇到类似“Socket/File: Can’t open so many files”，“无法打开更多进程”，或是coredump过大等问题，这些都可以设置资源限制来解决。今天在教某位客户设置最大文件数方法时，搜索网上的方法时发现各家说法并不一致，便写了这篇文档。通常对Linux某个用户设置系统资源，我们都已经知道可以用ulimit命令来查看和设置。表 1. ulimit 参数说明选项 [options]含义例子-H设置硬资源限制，一旦设置不能增加...
Linux遇到磁盘空间满，首先找到占用空间大的文件或目录。查看磁盘空间占用df 定位大文件或目录cd / // 从根目录开始查找 du -sh // 查看当前目录总占用空间 du -sh * // 查看当前目录下各目录或文件的占用空间情况 du -h --max-depth=1 // 仅查找一级 rm -rf xxx // 确认文件或目录不再使用时在删除 删除大文件或目录后再次df发现磁盘空间没有释放lsof |grep deleted // 定位文件状态已删除但仍在使用这些文件的进程 kill pid // 杀...
按行切割大文件（linux split 命令简版）#-*- coding:utf-8 -*- __author__ = ‘KnowLifeDeath‘‘‘‘ Linux上Split命令可以方便对大文件进行分割，该PY脚本是在Windows上按指定行数切割文件 Python Version: 2.7 ‘‘‘import time import sysprint time.strftime(‘%Y-%m-%d %H:%M:%S‘, time.localtime(time.time()))‘‘‘需要初始化参数‘‘‘ BigFile = "E:\Data\Big.txt" OneUnitEnd = 1000000 #分割块行数 ZeroFillWidth ...
Linux 查看磁盘容量、查找大文件、查找大目录磁盘统计查看磁盘使用情况df -h文件统计查找/home 目录下大于800M的文件find /home -type f -size +800M查找/home 目录下大于800M的文件，并且使用ls -l 命令输出详细信息find /home -type f -size +800M -print0|xargs -0 ls -l 查找/home 目录下大约800M的文件,并且使用du -h 命令输出文件的大小find /home -type f -size +800M -print0|xargs -0 du -h查找/home 目录下大约800M的文件...
1、宝塔网站自带的数据库导入2、phpmyadmin导入3、远程到linux服务器用导入命令 使用xshell进入到控制台1、首先建空数据库 mysql>create database dbname ; 2、导入数据库 方法一： （1）选择数据库 mysql>use dbname ; （2）设置数据库编码 mysql>set names utf8; （3）导入数据（注意sql文件的路径） mysql>source /home/xxxx/dbname .sql; 方法二： mysql -u用户名 -p密码 数据库名 < 数据库名.sql 4、开放数据库访问权限，由客...
找到mysql的配置文件目录 my.cnf interactive_timeout = 120wait_timeout = 120max_allowed_packet = 500M 在导入过程中可能会遇到报错或者导入不全的情况 还需在配置文件中加入 sql_mode=ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
注意： 由于再Linux中一切皆文件，你需要时刻注意，确保你将要清空的文件不是重要的用户文件或者系统文件。清空重要的系统文件或者配置文件可能会引发严重的应用失败或者系统错误。 提示：在下面的示例中，我们将使用名为 access.log 的文件来作为示例样本。 1. 通过重定向到 Null 来清空文件内容 清空或者让一个文件成为空白的最简单方式，是像下面那样，通过 shell 重定向 null （不存在的事物）到该文件： # > access.log2. 使用...
1.生成指定大小的文件 在当前目录下生成一个50M的文件：dd if=/dev/zero of=50M.file bs=1M count=50?truncate -s 2G ~/big.log.txt truncate?-s?将文件缩减或扩展至指定大小如果指定文件不存在则创建 如果指定文件超出指定大小则超出的数据将丢失 如果指定文件小于指定大小则用0 补足 ubuser@ubuser-OptiPlex-7010:~$ echo 123456>a.txt ubuser@ubuser-OptiPlex-7010:~$ cat a.txt 123456 ubuser@ubuser-OptiPlex-7010:~$ truncat...
近日， Linux 内核开发者提交了一个关于 exFAT 优化的补丁：当使用 “dirsync” 安装选项时，集群分配位图不会在每个集群位清除时都同步缓冲区，而是只会在位图缓冲区索引改变时才会更新。这一改进可以大幅优化删除大文件时的性能。在 Linux 内核 5.12 版本中，使用 exFAT 文件系统的用户，在删除带有 “dirsync” 安装选项集的大文件时，将大幅提高速度。什么是exFAT exFAT(Extended File Allocation Table)，是微软公司(Microsof...
一.sed命令 查看文件第5-10行内容（可以搭配 > 文件名 将查询结果导出到某个文件） sed -n ‘5,10p’ filename 二.grep命令 显示file文件中匹配字符串那行以及上下5行 grep -C 5 字符 filename 显示及前5行grep -B 5 字符 filename 显示及后5行grep -A 5 字符 filename 三.tail命令 从第3000行开始，显示1000行。即显示3000~3999行cat filename | tail -n +3000 | head -n 1000 显示1000行到3000行cat filename...
1./etc/security/limits.conf中指定的nofile的值，nofile有上限，不是无穷大。nofile由内核参数nr_open定义的. “在2.6.25内核之前有个宏定义，定义了这个值的最大值，为1024*1024，正好是100万，而在2.6.25内核及其之后，这个值是可以通过/proc/sys/fs/nr_open来设置。” 2.使用cat /proc/sys/fs/nr_open 查看nr_open值，可通过修改/ect/sysct.conf 修改fs.nr_open值，sysctl -p生效 3.fix_max linux内核定义的最大file handles(文...
在开发运维的时候我们常常会遇到类似“Socket/File: Can’t open so many files”，“无法打开更多进程”，或是coredump过大等问题，这些都可以设置资源限制来解决。今天在教某位客户设置最大文件数方法时，搜索网上的方法时发现各家说法并不一致，便写了这篇文档。 通常对Linux某个用户设置系统资源，我们都已经知道可以用ulimit命令来查看和设置。 表 1. ulimit 参数说明选项 [options] 含义 例子-H 设置硬资源限制，一旦设置不能...
当需要将较大的数据上传到服务器，或从服务器下载较大的日志文件时，往往会因为网络或其它原因而导致传输中断而不得不重新传输。 这种情况下，可以先将大文件分割成小文件后分批传输，传完后再合并文件。 1. 分割文件 文件分割可以使用split命令，该即支持文本文件分割，又支持二进制文件分割；而合并文件可以使用cat命令。 1.1 文本文件分割 分割文本文件时，可以按文件大小分割，也可以按文本行数分割。 按文件大小分割 按文...