在开发运维的时候我们常常会遇到类似“Socket/File: Can’t open so many files”,“无法打开更多进程”,或是coredump过大等问题,这些都可以设置资源限制来解决。今天在教某位客户设置最大文件数方法时,搜索网上的方法时发现各家说法并不一致,便写了这篇文档。通常对Linux某个用户设置系统资源,我们都已经知道可以用ulimit命令来查看和设置。表 1. ulimit 参数说明选项 [options]含义例子-H设置硬资源限制,一旦设置不能增加...
Linux遇到磁盘空间满,首先找到占用空间大的文件或目录。查看磁盘空间占用df
定位大文件或目录cd / // 从根目录开始查找
du -sh // 查看当前目录总占用空间
du -sh * // 查看当前目录下各目录或文件的占用空间情况
du -h --max-depth=1 // 仅查找一级
rm -rf xxx // 确认文件或目录不再使用时在删除
删除大文件或目录后再次df发现磁盘空间没有释放lsof |grep deleted // 定位文件状态已删除但仍在使用这些文件的进程
kill pid // 杀...
按行切割大文件(linux split 命令简版)#-*- coding:utf-8 -*-
__author__ = ‘KnowLifeDeath‘‘‘‘
Linux上Split命令可以方便对大文件进行分割,该PY脚本是在Windows上按指定行数切割文件
Python Version: 2.7
‘‘‘import time
import sysprint time.strftime(‘%Y-%m-%d %H:%M:%S‘, time.localtime(time.time()))‘‘‘需要初始化参数‘‘‘
BigFile = "E:\Data\Big.txt"
OneUnitEnd = 1000000 #分割块行数
ZeroFillWidth ...
Linux 查看磁盘容量、查找大文件、查找大目录磁盘统计查看磁盘使用情况df -h文件统计查找/home 目录下大于800M的文件find /home -type f -size +800M查找/home 目录下大于800M的文件,并且使用ls -l 命令输出详细信息find /home -type f -size +800M -print0|xargs -0 ls -l
查找/home 目录下大约800M的文件,并且使用du -h 命令输出文件的大小find /home -type f -size +800M -print0|xargs -0 du -h查找/home 目录下大约800M的文件...
1、宝塔网站自带的数据库导入2、phpmyadmin导入3、远程到linux服务器用导入命令
使用xshell进入到控制台1、首先建空数据库
mysql>create database dbname ;
2、导入数据库
方法一:
(1)选择数据库
mysql>use dbname ;
(2)设置数据库编码
mysql>set names utf8;
(3)导入数据(注意sql文件的路径)
mysql>source /home/xxxx/dbname .sql;
方法二:
mysql -u用户名 -p密码 数据库名 < 数据库名.sql
4、开放数据库访问权限,由客...
找到mysql的配置文件目录 my.cnf
interactive_timeout = 120wait_timeout = 120max_allowed_packet = 500M
在导入过程中可能会遇到报错或者导入不全的情况 还需在配置文件中加入
sql_mode=ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
注意: 由于再Linux中一切皆文件,你需要时刻注意,确保你将要清空的文件不是重要的用户文件或者系统文件。清空重要的系统文件或者配置文件可能会引发严重的应用失败或者系统错误。
提示:在下面的示例中,我们将使用名为 access.log 的文件来作为示例样本。
1. 通过重定向到 Null 来清空文件内容
清空或者让一个文件成为空白的最简单方式,是像下面那样,通过 shell 重定向 null (不存在的事物)到该文件:
# > access.log2. 使用...
1.生成指定大小的文件
在当前目录下生成一个50M的文件:dd if=/dev/zero of=50M.file bs=1M count=50?truncate -s 2G ~/big.log.txt
truncate?-s?将文件缩减或扩展至指定大小如果指定文件不存在则创建
如果指定文件超出指定大小则超出的数据将丢失
如果指定文件小于指定大小则用0 补足
ubuser@ubuser-OptiPlex-7010:~$ echo 123456>a.txt
ubuser@ubuser-OptiPlex-7010:~$ cat a.txt
123456
ubuser@ubuser-OptiPlex-7010:~$ truncat...
近日, Linux 内核开发者提交了一个关于 exFAT 优化的补丁:当使用 “dirsync” 安装选项时,集群分配位图不会在每个集群位清除时都同步缓冲区,而是只会在位图缓冲区索引改变时才会更新。这一改进可以大幅优化删除大文件时的性能。在 Linux 内核 5.12 版本中,使用 exFAT 文件系统的用户,在删除带有 “dirsync” 安装选项集的大文件时,将大幅提高速度。什么是exFAT
exFAT(Extended File Allocation Table),是微软公司(Microsof...
一.sed命令
查看文件第5-10行内容(可以搭配 > 文件名 将查询结果导出到某个文件)
sed -n ‘5,10p’ filename
二.grep命令
显示file文件中匹配字符串那行以及上下5行
grep -C 5 字符 filename
显示及前5行grep -B 5 字符 filename
显示及后5行grep -A 5 字符 filename
三.tail命令
从第3000行开始,显示1000行。即显示3000~3999行cat filename | tail -n +3000 | head -n 1000
显示1000行到3000行cat filename...
1./etc/security/limits.conf中指定的nofile的值,nofile有上限,不是无穷大。nofile由内核参数nr_open定义的.
“在2.6.25内核之前有个宏定义,定义了这个值的最大值,为1024*1024,正好是100万,而在2.6.25内核及其之后,这个值是可以通过/proc/sys/fs/nr_open来设置。”
2.使用cat /proc/sys/fs/nr_open 查看nr_open值,可通过修改/ect/sysct.conf 修改fs.nr_open值,sysctl -p生效
3.fix_max linux内核定义的最大file handles(文...
在开发运维的时候我们常常会遇到类似“Socket/File: Can’t open so many files”,“无法打开更多进程”,或是coredump过大等问题,这些都可以设置资源限制来解决。今天在教某位客户设置最大文件数方法时,搜索网上的方法时发现各家说法并不一致,便写了这篇文档。
通常对Linux某个用户设置系统资源,我们都已经知道可以用ulimit命令来查看和设置。
表 1. ulimit 参数说明选项 [options]
含义
例子-H
设置硬资源限制,一旦设置不能...
当需要将较大的数据上传到服务器,或从服务器下载较大的日志文件时,往往会因为网络或其它原因而导致传输中断而不得不重新传输。
这种情况下,可以先将大文件分割成小文件后分批传输,传完后再合并文件。
1. 分割文件
文件分割可以使用split命令,该即支持文本文件分割,又支持二进制文件分割;而合并文件可以使用cat命令。
1.1 文本文件分割
分割文本文件时,可以按文件大小分割,也可以按文本行数分割。
按文件大小分割
按文...
【Linux运维】如何查找大文件或大目录
目录【Linux运维】如何查找大文件或大目录一、如何查找大文件case1: 查找当前系统中有哪儿文件的大小超过800MBcase2: 查找当前系统中有哪儿文件的大小超过800MB,并且向看下文件的其他属性case3:查找当前系统中有哪儿文件的大小超过800MB,并查看下文件的具体大小case4:查找当前系统中有哪些文件的大小超过800MB, 并查看文件的具体大小,并对结果做个排序二、如何查找Linux下的大目录
一、如何...
转载:https://www.cnblogs.com/pangguoping/p/5791432.html
介绍
在Linux下有时会遇到Socket/File : Cant open so many files的问题。其实Linux是有文件句柄限制的,而且Linux默认一般都是1024(阿里云主机默认是65535)。在生产环境中很容易到达这个值,因此这里就会成为系统的瓶颈。
1.查看方法
使用ulimit -a 或者 ulimit -n
open files (-n) 1024 是linux操作系统对一个进程打开的文件句柄数量的限制(也包含打开的套接字...