首页 / MYSQL / 监控系统项目实施--安装与部署-- MySQL数据库--分区表创建

监控系统项目实施--安装与部署-- MySQL数据库--分区表创建

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了监控系统项目实施--安装与部署-- MySQL数据库--分区表创建，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含8643字，纯文字阅读大概需要13分钟。

内容图文

该文档源自github

https://github.com/zabbix-book/partitiontables_zabbix/archive/master.zip

Readme.md

partitiontables_zabbix

This is a scripts for partitiontables of MySQL zabbix version is 2.2 3.0 3.2 3.4 4.0
support Zabbix 3.0 4.0
MySQL  version 5.6  5.7 8.0

本项目是《Zabbix企业级分布式监控系统》第2版中第3章节中的代码，如需使用，请注明出处即可，遵循Apache 2.0开源协议

1. configration

Before run this scripts,maybe you should modify it
修改脚本中的账号信息，如下所示

# MySQL connect information
ZABBIX_USER="zabbix"
ZABBIX_PWD="zabbix"
ZABBIX_DB="zabbix"
ZABBIX_PORT="3306"
ZABBIX_HOST="127.0.0.1"
MYSQL_BIN="mysql"

# How days you will keep history days,default is 30  历史数据存储保留时间
HISTORY_DAYS=30

# How months you will keep trend days,default is 12  趋势数据存储保留时间
TREND_MONTHS=12

2. run it

运行脚本

shell# bash partitiontables_zabbix.sh 
table history      create partitions p20180716
table history_log  create partitions p20180716
table history_str  create partitions p20180716
table history_text create partitions p20180716
table history_uint create partitions p20180716
table history      create partitions p20180717
table history_log  create partitions p20180717
table history_str  create partitions p20180717
table history_text create partitions p20180717
table history_uint create partitions p20180717
......
table trends       create partitions p201807
table trends_uint  create partitions p201807
table trends       create partitions p201808
table trends_uint  create partitions p201808

3. check partitions

验证脚本是否执行成功

shell# mysql -uzabbix -pzabbix zabbix
MariaDB [zabbix]> show create table history\G;
*************************** 1. row ***************************
Table: history
Create Table: CREATE TABLE `history` (
  `itemid` bigint(20) unsigned NOT NULL,
  `clock` int(11) NOT NULL DEFAULT '0',
  `value` double(16,4) NOT NULL DEFAULT '0.0000',
  `ns` int(11) NOT NULL DEFAULT '0',
  KEY `history_1` (`itemid`,`clock`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8
/*!50100 PARTITION BY RANGE ( clock)
(PARTITION p20180716 VALUES LESS THAN (1531756799) ENGINE = InnoDB,
PARTITION p20180717 VALUES LESS THAN (1531843199) ENGINE = InnoDB,
PARTITION p20180718 VALUES LESS THAN (1531929599) ENGINE = InnoDB,
PARTITION p20180719 VALUES LESS THAN (1532015999) ENGINE = InnoDB,
PARTITION p20180720 VALUES LESS THAN (1532102399) ENGINE = InnoDB,
PARTITION p20180721 VALUES LESS THAN (1532188799) ENGINE = InnoDB,
PARTITION p20180722 VALUES LESS THAN (1532275199) ENGINE = InnoDB,
PARTITION p20180723 VALUES LESS THAN (1532361599) ENGINE = InnoDB) */
1 row in set (0.00 sec)
ERROR: No query specified
MariaDB [zabbix]>

当看到PARTITION的时候，说明分区已创建成功。
if you see this,everything is OK.

4. set crontab

the crontab remove old partitions every day
每天的定时任务，是由linux的crontab去实现的，需确保Linux服务器的crond启动成功。否则会引起新分区无法自动创建的问题

shell# crontab -e
1 0 * * * /usr/sbin/partitiontables_zabbix.sh
Shell# chmod 700 /usr/sbin/partitiontables_zabbix.sh

#truncate table(only with delete data)
if you database is so big,you should clean data first,then run this scripts

当运行此脚本的时候，Zabbix库有存量数据，此时，建议清空想表的数据，然后再执行此脚本

mysql> use zabbix; 
mysql> truncate table history; 
mysql> optimize table history; 
mysql> truncate table history_str; 
mysql> optimize table history_str; 
mysql> truncate table history_uint; 
mysql> optimize table history_uint; 
mysql> truncate table trends; 
mysql> optimize table trends; 
mysql> truncate table trends_uint; 
mysql> optimize table trends_uint;

partitiontables_zabbix.sh

#!/bin/bash
# author: itnihao
# mail: itnihao#qq.com
# Apache License Version 2.0
# date: 2018-06-06
# funtion: create parition for zabbix MySQL 
# repo: https://github.com/zabbix-book/partitiontables_zabbix

#配置环境变量
ZABBIX_USER="zabbix"
ZABBIX_PWD="Root@123456"
ZABBIX_DB="zabbix"
ZABBIX_PORT="3306"
ZABBIX_HOST="127.0.0.1"
MYSQL_BIN="mysql"

#历史数据保留时间，单位天
HISTORY_DAYS=30

#趋势数据保留时间，单位月
TREND_MONTHS=12

HISTORY_TABLE="history history_log history_str history_text history_uint"
TREND_TABLE="trends trends_uint"

#MYSQL连接命令
MYSQL_CMD=$(echo ${MYSQL_BIN} -u${ZABBIX_USER} -p${ZABBIX_PWD} -P${ZABBIX_PORT} -h${ZABBIX_HOST} ${ZABBIX_DB})

function create_partitions_history() {
    #给历史表创建分区
    for PARTITIONS_CREATE_EVERY_DAY in $(date +"%Y%m%d") $(date +"%Y%m%d" --date='1 days') $(date +"%Y%m%d" --date='2 days') $(date +"%Y%m%d" --date='3 days')  $(date +"%Y%m%d" --date='4 days') $(date +"%Y%m%d" --date='5 days') $(date +"%Y%m%d" --date='6 days') $(date +"%Y%m%d" --date='7 days')
    do
        TIME_PARTITIONS=$(date -d "$(echo ${PARTITIONS_CREATE_EVERY_DAY} 23:59:59)" +%s)
        for TABLE_NAME in ${HISTORY_TABLE}
        do
            SQL1=$(echo "show create table ${TABLE_NAME};")
            RET1=$(${MYSQL_CMD} -e "${SQL1}"|grep "PARTITION BY RANGE"|wc -l)
            #表结构中的表分区不存在，则创建
            if [ "${RET1}" == "0" ];then
                SQL2=$(echo "ALTER TABLE $TABLE_NAME PARTITION BY RANGE( clock ) (PARTITION p${PARTITIONS_CREATE_EVERY_DAY}  VALUES LESS THAN (${TIME_PARTITIONS}));")
                RET2=$(${MYSQL_CMD} -e "${SQL2}")
                if [ "${RET2}" != "" ];then
                    echo  ${RET2}
                    echo "${SQL2}"
                else
                    printf "table %-12s create partitions p${PARTITIONS_CREATE_EVERY_DAY}\n" ${TABLE_NAME}
                fi
                continue
            fi
            #表结构中的表分区已经存在，则创建分区
            if [ "${RET1}" != "0" ];then
                SQL3=$(echo "show create table ${TABLE_NAME};")
                RET3=$(${MYSQL_CMD} -e "${SQL3}"|grep "p${PARTITIONS_CREATE_EVERY_DAY}"|wc -l)
                if [ "${RET3}" == "0" ];then
                    TIME_PARTITIONS=$(date -d "$(echo ${PARTITIONS_CREATE_EVERY_DAY} 23:59:59)" +%s) 
                    SQL4=$(echo "ALTER TABLE $TABLE_NAME  ADD PARTITION (PARTITION p${PARTITIONS_CREATE_EVERY_DAY} VALUES LESS THAN (${TIME_PARTITIONS}));")
                    RET4=$(${MYSQL_CMD} -e "${SQL4}")
                    if [ "${RET4}" != "" ];then
                        echo  ${RET4}
                        echo "${SQL4}"
                    else
                        printf "table %-12s create partitions p${PARTITIONS_CREATE_EVERY_DAY}\n" ${TABLE_NAME}
                    fi
                fi
            fi
        done
    done
}

function drop_partitions_history() {
    #删除历史表分区
    for PARTITIONS_DELETE_DAYS_AGO in $(date +"%Y%m%d" --date="${HISTORY_DAYS} days ago")
    do
        for TABLE_NAME in ${HISTORY_TABLE}
        do
            SQL=$(echo -e  "show create table ${TABLE_NAME};")
            RET=$(${MYSQL_CMD} -e "${SQL}"|grep "p${PARTITIONS_DELETE_DAYS_AGO}"|wc -l)
            if [ "${RET}" == "1" ];then
                SQL=$(echo "ALTER TABLE ${TABLE_NAME} DROP PARTITION p${PARTITIONS_DELETE_DAYS_AGO};")
                RET=$(${MYSQL_CMD} -e "${SQL}")
                if [ "${RET}" != "" ];then
                    echo  ${RET}
                    echo "${SQL}"
                else
                    printf "table %-12s drop partitions p${PARTITIONS_DELETE_DAYS_AGO}\n" ${TABLE_NAME}
                fi
            fi
        done
    done
}

function create_partitions_trend() {
    #创建趋势表分区
    for PARTITIONS_CREATE_EVERY_MONTHS in $(date +"%Y%m") $(date +"%Y%m" --date='1 months') $(date +"%Y%m" --date='2 months') $(date +"%Y%m" --date='3 months') $(date +"%Y%m" --date='4 months') $(date +"%Y%m" --date='5 months')
    do
        TIME_PARTITIONS=$(date -d "$(echo ${PARTITIONS_CREATE_EVERY_MONTHS}01 00:00:00)" +%s)
        for TABLE_NAME in ${TREND_TABLE}
        do
            SQL1=$(echo "show create table ${TABLE_NAME};")
            RET1=$(${MYSQL_CMD} -e "${SQL1}"|grep "PARTITION BY RANGE"|wc -l)
            #表结构中的表分区不存在，则创建
            if [ "${RET1}" == "0" ];then
                SQL2=$(echo "ALTER TABLE $TABLE_NAME PARTITION BY RANGE( clock ) (PARTITION p${PARTITIONS_CREATE_EVERY_MONTHS}  VALUES LESS THAN (${TIME_PARTITIONS}));")
                RET2=$(${MYSQL_CMD} -e "${SQL2}")
                if [ "${RET2}" != "" ];then
                    echo  ${RET2}
                    echo "${SQL2}"
                else
                    printf "table %-12s create partitions p${PARTITIONS_CREATE_EVERY_MONTHS}\n" ${TABLE_NAME}
                fi
                continue
            fi
            #表结构中的表分区已经存在，则创建分区
            if [ "${RET1}" != "0" ];then
                SQL3=$(echo "show create table ${TABLE_NAME};")
                RET3=$(${MYSQL_CMD} -e "${SQL3}"|grep "p${PARTITIONS_CREATE_EVERY_MONTHS}"|wc -l)
                if [ "${RET3}" == "0" ];then

                    SQL4=$(echo "ALTER TABLE ${TABLE_NAME}  ADD PARTITION (PARTITION p${PARTITIONS_CREATE_EVERY_MONTHS} VALUES LESS THAN (${TIME_PARTITIONS}));")
                    RET4=$(${MYSQL_CMD} -e "${SQL4}")
                    if [ "${RET4}" != "" ];then
                        echo  ${RET4}
                        echo "${SQL4}"
                    else
                        printf "table %-12s create partitions p${PARTITIONS_CREATE_EVERY_MONTHS}\n" ${TABLE_NAME}
                    fi
                fi
            fi
        done
    done
}

function drop_partitions_trend() {
    #删除趋势表分区
    for PARTITIONS_DELETE_MONTHS_AGO in $(date +"%Y%m" --date="${TREND_MONTHS} months ago")
    do
        for TABLE_NAME in ${TREND_TABLE}
        do
            SQL=$(echo "show create table ${TABLE_NAME};")
            RET=$(${MYSQL_CMD} -e "${SQL}"|grep "p${PARTITIONS_DELETE_MONTHS_AGO}"|wc -l)
            if [ "${RET}" == "1" ];then
                SQL=$(echo "ALTER TABLE ${TABLE_NAME} DROP PARTITION p${PARTITIONS_DELETE_MONTHS_AGO};")
                RET=$(${MYSQL_CMD} -e "${SQL}")
                if [ "${RET}" != "" ];then
                    echo  ${RET}
                    echo "${SQL}"
                else
                    printf "table %-12s drop partitions p${PARTITIONS_DELETE_MONTHS_AGO}\n" ${TABLE_NAME}
                fi
            fi
        done
    done
}

function main() {
    create_partitions_history
    create_partitions_trend
    drop_partitions_history
    drop_partitions_trend
}

main

内容总结

以上是互联网集市为您收集整理的监控系统项目实施--安装与部署-- MySQL数据库--分区表创建全部内容，希望文章能够帮你解决监控系统项目实施--安装与部署-- MySQL数据库--分区表创建所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/861471.html

来源：【匿名】

【上一篇】监控系统项目实施--安装与部署-- MySQL数据库--分区表创建2 【下一篇】用IE远程创建Mysql数据库的简易程序

更多 ►

【监控系统项目实施--安装与部署-- MySQL数据库--分区表创建】教程文章相关的互联网学习教程文章

SpingBoot二——引入MySql数据库【代码】【图】

◆版权声明：本文出自胖喵~的博客，转载必须注明出处。　　转载请注明出处：https://www.cnblogs.com/by-dream/p/10486117.html 搭起一个简单的服务后，接下来我们加入数据库，通过服务去读取DB中的数据进行显示。顺便将模块划分再清晰一些。不说太多了，直接说代码吧。1、pom.xml的dependencies中入依赖<dependency><groupId>org.mybatis.spring.boot</groupId><artifactId>mybatis-spring-boot-starter<...

Mysql 数据库操作

mysql数据库汉字首字母简拼全拼【代码】

汉字提取首字母转自 https://blog.csdn.net/u012998306/article/details/98867025 多谢老哥fristPinyin ：此函数是将一个中文字符串的第一个汉字转成拼音字母（例如："李"->l）,包括特殊字符处理，可以进行动态添加CREATE FUNCTION `fristPinyin`(P_NAME VARCHAR(255)) RETURNS varchar(255) CHARSET utf8 BEGINDECLARE V_RETURN VARCHAR(255);DECLARE V_FIRST_CHAR VARCHAR(255);set V_FIRST_CHAR =UPPER(LEFT(CONVERT(P_NAME U...

Visio 2010对MySQL数据库反向工程生成ER数据库模型图【图】

Visio 2010对MySQL数据库反向工程生成ER数据库模型图1、首先需要从Mysql下载用于数据库链接的驱动ODBC下载地址是：http://dev.mysql.com/downloads/connector/odbc/根据相应的版本下载即可,下载完后直接在本地安装2、启动Visio2010(其他版本自学)新建文档的时候在模板类别里面选“软件和数据库”，如下图然后会跳到“选择模板”里面，直接选“数据库模型图”,如下图3、在上面的工具栏里面选择“数据库”选项卡选择左边的“反向工程...

mysql数据库死锁的产生原因及解决办法

这篇文章主要介绍了mysql数据库锁的产生原因及解决办法,需要的朋友可以参考下数据库和操作系统一样，是一个多用户使用的共享资源。当多个用户并发地存取数据时，在数据库中就会产生多个事务同时存取同一数据的情况。若对并发操作不加控制就可能会读取和存储不正确的数据，破坏数据库的一致性。加锁是实现数据库并发控制的一个非常重要的技术。在实际应用中经常会遇到的与锁相关的异常情况，当两个事务需要一组有冲突的锁，而不能...

mysql 数据库查询与实例。【代码】【图】

资料是从教材弄下来的，主要内容是练习实例，在写博文中学习命令行,当然也希望这篇博文能帮助其他人学习mysq数据库命令 SELECT 语句可以从一个或多个表中选取特定的行和列　SELECT 指定要查询的列名称，列与列之间用逗号隔开。 [ALL|DISTINCT] ALL(默认)显示所有行，包括重复行 | DISTINCT 消除重复行 [FROM表名[,表名]……] 指定要查询的表，可以指定两个以上的表，表...

MySQL之数据库对象查看工具mysqlshow

mysqlshow：数据库对象查看工具，用来快速查找存在哪些数据库、数据库中的表、表中的列或索引。选项：--count 显示数据库和表的统计信息 -k 显示指定的表中的索引 -i 显示表的状态信息不带任何参数显示所有数据库[root@www mysql-5.6.30]# mysqlshow+--------------------+| Databases |+--------------------+| information_schema || mysql || performance_schema || test ...

c语言访问mysql数据库方法

参考范例：#include<stdio.h>#include<stdlib.h>#include<string.h>#include<mysql.h>#define MAX_COLUMN_LEN 32int main(int argc , char *argv[]){ MYSQL db; MYSQL_RES *res; MYSQL_ROW row; //初始化数据库 mysql_init(&db); //连接数据库 if(mysql_real_connect(&db,"127.0.0.1","root","huawei","information_schema",0,NULL,0)) { printf("connect!!!\n"); } //查询 if (mysql_real_query(&db, "sel...

mysql 数据库的主从复制及备份、恢复【代码】

##远程登录MySql mysql -h62.234.124.229 -P31306 -ucrab -p123456mysql --host=62.234.124.229 --user=yq --password=123456##给远程登录的用户授权: grant all on *.* to crab@‘114.248.166.196‘ identified by ‘123456‘; grant select,update,delete on *.* to crab@‘114.248.166.196‘ identified by ‘123456‘;crab@‘114.248.166.196‘:权限一定是用户名+ip地址; crab@‘114.248.166.%‘ crab@‘114.248.%‘ crab@‘%‘...

Python/MySQL（四、MySQL数据库操作）【代码】

Python/MySQL（四、MySQL数据库操作）一、数据库条件语句：1 case when id>9 then ture else false二、三元运算：1if（isnull（xx）0,1）三、上下连表：select id，name from ta1 union 天然去重（检测上边的表和下边的表行内完全一样就只显示一行内容） select num,sname from tb2 ========================================== select id，name from ta1 union all 不去重 select num,sname from tb2 --------------------...

mysql数据库理论与实战

数据库650) this.width=650;" width="554" height="188" src="/e/u261/themes/default/images/spacer.gif" /> 650) this.width=650;" width="554" height="316" src="/e/u261/themes/default/images/spacer.gif" /> 650) this.width=650;" width="554" height="81" src="/e/u261/themes/default/images/spacer.gif" /> 650) this.width=650;" width="554" height="168" src="/e/u261/themes/default/images/spacer.gif" /> 65...

Qt 5.2中编译加载MySQL数据库驱动问题的总结【图】

背景：　　本科毕业设计涉及图形界面与数据库查询。选择使用Qt实现图形界面编程，使用MySQL构建数据库。之前安装了Qt 5.2，后来又安装了MySQL Server 5.6 (FULL完全安装)。接着就遇到了" QMYSQL driver not loaded "的问题。参考网站：　　<http://mobile.51cto.com/symbian-273258.htm>　　<http://mobile.51cto.com/symbian-268134.htm>　　<http://1029975378-qq-com.iteye.com/blog/1310910>　　<http://blog.sina.com.cn/s/b...

MySQLdb库连接MySQL数据库

Cacti是一套基于PHP,MySQL,SNMP及RRDTool开发的网络流量监测图形分析工具。Cacti是通过 snmpget来获取数据，使用 RRDtool绘画图形，而且你完全可以不需要了解RRDtool复杂的参数。它提供了非常强大的数据和用户管理功能，可以指定每一个用户能查看树状结构、host以及任何一张图，还可以与LDAP结合进行用户验证，同时也能自己增加模板，功能非常强大完善。界面友好。软件 Cacti 的发展是基于让 RRDTool 使用者更方便使用该软件，除了...

09 spark连接mysql数据库【图】

1.安装启动检查Mysql服务。netstat -tunlp (3306)　 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysql shell，新建数据库spark，表student。select * from student; 4.spark读取MySQL数据库中的数据spark.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306/spark?useSSL=false") ... .load()原文：https://www.cnblogs.com/w...

使用Junit单元测试及操作MySQL数据库时出现错误及解决方法【图】

在一次看Mybatis视频学习过程中，教学视频中用到了Junit单元测试，因为刚开始学习，会出现许多错误，每次出现错误都会上网搜索，但是发现基本上错误都是这么几种：1、没有@Test注解 2、测试方法用static修饰 3、测试方法有返回值 4、测试方法有参数具体的修改方法也很简单，对应的：1、在测试方法上要有@Test注解 2、测试方法不能用static静态修饰 3、测试方法不能有返回值 4、测试方法不能有参数但是有次报错时，我核对了以上错误...

首页 / MYSQL / 监控系统项目实施--安装与部署-- MySQL数据库--分区表创建

监控系统项目实施--安装与部署-- MySQL数据库--分区表创建

内容导读

内容图文

该文档源自github

Readme.md

partitiontables_zabbix

1. configration

2. run it

3. check partitions

4. set crontab

partitiontables_zabbix.sh

内容总结

内容备注

内容手机端

【监控系统项目实施--安装与部署-- MySQL数据库--分区表创建】教程文章相关的互联网学习教程文章

SpingBoot二——引入MySql数据库【代码】【图】

Mysql 数据库操作

mysql数据库汉字首字母简拼全拼【代码】

Visio 2010对MySQL数据库反向工程生成ER数据库模型图【图】

mysql数据库死锁的产生原因及解决办法

mysql 数据库查询与实例。【代码】【图】

MySQL之数据库对象查看工具mysqlshow

c语言访问mysql数据库方法

mysql 数据库的主从复制及备份、恢复【代码】

Python/MySQL（四、MySQL数据库操作）【代码】

mysql数据库理论与实战

Qt 5.2中编译加载MySQL数据库驱动问题的总结【图】

MySQLdb库连接MySQL数据库

09 spark连接mysql数据库【图】

使用Junit单元测试及操作MySQL数据库时出现错误及解决方法【图】

MYSQL - 相关标签

分区表 - 相关标签

MYSQL - 技术教程分类

MYSQL - 最新教程

MYSQL - 最热教程