首页 / POSTGRCSQL / PostgreSQL中快速对系统表实现vacuumfull

PostgreSQL中快速对系统表实现vacuumfull

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了PostgreSQL中快速对系统表实现vacuumfull，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含5042字，纯文字阅读大概需要8分钟。

内容图文

PostgreSQL中快速对系统表实现vacuum full

vacuum full会锁表，而且效率很低，在实际中不可能使用vacuum来缩小pg_class，，这样会有很长的停机时间。
其实要实现vacuum full最简单的方法就是将一个表重新复制一遍，create table b as select * from a;然后再使用b表代替a表使用就可以了。
鉴于pg_class是所有表的基础，我们就算将其拷贝也无法将其取代掉。这样，我们可以以另外一种方式来实现，替换底层数据文件。由于pg_class有一个系统列，oid，这一个列我们无法简单的直接copy，所以我们采用一种迂回的方法。
1.新建一个表with oid， create table cxf with oids as select * from pg_class limit 0;
在这个表中建立跟pg_class一样的索引，因为如果我们将底层数据文件替换掉，而还是用老的索引文件的话，会错乱的
2.将整个pg_class使用copy命令导成文本（使用参数with oids）将oid也导出
3.然后将这个数据文件用copy with oids命令存入到第一步建的表中
4.停止数据库（让所有在缓存的数据全部写入到文件中）
5.替换底层的数据文件跟索引文件
6.重启数据库即可

使用这种方法使pg_class的数据文件大小从1.4G变成了63M，pg_attribute从1.5G变成602M，实现了vacuum full的效果，具体步骤如下：

2.在数据库base目录下查看这几个文件
@linuxidc:/home/gpadmin/cxf/aligp-1/base/16384>ll -h 1259 1259.* 15687137 15687137.* 15687138 15687138.*
ls: 15687137.*: No such file or directory
ls: 15687138.*: No such file or directory
-rw------- 1 gpadmin gpadmin 1.0G Dec 11 20:14 1259
-rw------- 1 gpadmin gpadmin 395M Dec 11 20:16 1259.1
-rw------- 1 gpadmin gpadmin 20M Dec 11 20:16 15687137
-rw------- 1 gpadmin gpadmin 83M Dec 11 20:16 15687138

3.创建一个表，结构跟pg_class一致，建表的时候必须加上with oids
aligputf8=# create table cxf with oids as select * from pg_class limit 0;
SELECT 0
aligputf8=# create index cxf_pg_class_oid_index on cxf(oid);
CREATE INDEX
aligputf8=# create index cxf_pg_class_relname_nsp_index on cxf(relname, relnamespace);
CREATE INDEX
创建索引，由于启动数据库的时候他会去找pg_class，然后通过索引去查找记录，所以这里我们需要重建索引，最后也一起把底层文件给覆盖掉
oid | relname | relfilenode
----------+--------------------------------+-------------
19317362 | cxf | 19317362
19317367 | cxf_pg_class_oid_index | 19317367
19317368 | cxf_pg_class_relname_nsp_index | 19317368
(3 rows)

可以看出两个表的字段信息跟字段内容是一致的
aligputf8=# select count(*) from pg_attribute where attrelid = 19317362;
count
-------
38
(1 row)

aligputf8=# select count(*) from pg_attribute where attrelid = 1259;
count
-------
38
(1 row)

4.查看pg_class现在的数据量
aligputf8=# select count(*) from pg_class;
count
--------
331799
(1 row)

5.将pg_class 导出成文件，然后再导入到cxf中
aligputf8=# copy pg_class to '/tmp/pg_class_cxf' with null as '' delimiter E'/5' oids;
COPY 331799
aligputf8=# copy cxf from '/tmp/pg_class_cxf' with null as '' delimiter E'/5' oids;
COPY 331799

6.关闭数据库，备份现有的pg_class数据文件跟索引文件，以免发生意外，然后替换底层的数据文件（必须关闭数据库，如果不关闭数据库，刚刚copy回去的信息可能还没有刷到硬盘中，这个时候覆盖原有的文件会有问题的，我之前试过，结果由于数据丢失，连pg_class表也找不到了，整个数据库都不能用了）。
$GPHOME/bin/pg_ctl -w -D /home/gpadmin/cxf/aligp-1/ -o " -E -i -p 5132 --silent-mode=true " stop
@linuxidc:/home/gpadmin/cxf/aligp-1/base/16384>ll -h 19317362 19317367 19317368
-rw------- 1 gpadmin gpadmin 63M Dec 11 20:39 19317362
-rw------- 1 gpadmin gpadmin 9.8M Dec 11 20:39 19317367
-rw------- 1 gpadmin gpadmin 47M Dec 11 20:39 19317368

@linuxidc:/home/gpadmin/cxf/aligp-1/base/16384>mv 1259 1259.bak
@linuxidc:/home/gpadmin/cxf/aligp-1/base/16384>mv 1259.1 1259.1.bak
@linuxidc:/home/gpadmin/cxf/aligp-1/base/16384>mv 15687137 15687137.bak
@linuxidc:/home/gpadmin/cxf/aligp-1/base/16384>mv 15687138 15687138.bak
@linuxidc:/home/gpadmin/cxf/aligp-1/base/16384>cp 19317362 1259
@linuxidc:/home/gpadmin/cxf/aligp-1/base/16384>cp 19317367 15687137
@linuxidc:/home/gpadmin/cxf/aligp-1/base/16384>cp 19317368 15687138
@linuxidc:/home/gpadmin/cxf/aligp-1/base/16384>

7.重启数据库，验证
@linuxidc:/home/gpadmin/cxf/aligp-1/base/16384>PGOPTIONS="-c gp_session_role=utility" psql -E
psql (8.2.13)
Type "help" for help.

aligputf8=# select count(*) from pg_class;
count
--------
331799
(1 row)

aligputf8=# explain select * from pg_class where oid = 1259;
QUERY PLAN
---------------------------------------------------------------------------------------
Index Scan using pg_class_oid_index on pg_class (cost=0.00..200.58 rows=1 width=268)
Index Cond: oid = 1259::oid
(2 rows)

8.使用同样的方法给pg_attribute，这个时候直接insert就可以了，不用copy成外部表，因为这个表没有oid。
数据量由1.5G变成602M

PostgreSQL中快速对系统表实现vacuumfull - 文章图片

内容总结

以上是互联网集市为您收集整理的PostgreSQL中快速对系统表实现vacuumfull全部内容，希望文章能够帮你解决PostgreSQL中快速对系统表实现vacuumfull所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/550578.html

来源：【匿名】

【上一篇】如何修改PostgreSQL中一个表的oid 【下一篇】PDO扩展连接PostgreSQL对象关系数据库步骤详解

更多 ►

【PostgreSQL中快速对系统表实现vacuumfull】教程文章相关的互联网学习教程文章

3.5. PostgreSQL继承【代码】

继承是面向对象的数据库的概念。它开启了数据库设计新的有趣的可能性大门。让我们创建两个表：一个 cities 表和一个 capitals 表。自然，首府(capital)也是城市(cities)，因此在列出所有城市时你想要某种方法隐含地显示首府。如果你已经很高明了，那么你可能会创造类似下面这样的模式：CREATE TABLE capitals (name text,population real,altitude int, -- (单位是英尺)state char(2) );CREATE TABLE non_capitals...

postgresql 函数返回结果集(zz)

pgsql function 系列之一：返回结果集--------------------------------------------------------------------------------我们在编写postgresql数据库的函数（或称为存储过程）时，时常会遇到需要返回一个结果集的情况，如何返回一个结果集，返回一个结果集有多少种方式，以及如何选择一个合适的方式返回结果集，这是一个需要仔细考虑的问题。本文仅简单的罗列出各种返回结果集的方式并试图分析他们的特点，而采用何种方式则留给大...

postgreSQL主从复制【代码】

一、简介 postgres在9.0之后引入了主从的流复制机制，所谓流复制，就是从服务器通过tcp流从主服务器中同步相应的数据。这样当主服务器数据丢失时从服务器中仍有备份。与基于文件日志传送相比，流复制允许保持从服务器更新。从服务器连接主服务器，其产生的流WAL记录到从服务器，而不需要等待主服务器写完WAL文件。PostgreSQL流复制默认是异步的。在主服务器上提交事务和从服务器上变化可见之间有一个小的延迟，这个延迟远小于基于...

POSTGRESQL 数据库导入导出

导入整个数据库psql -U postgres(用户名) 数据库名(缺省时同用户名) < /data/dum.sql 导出整个数据库pg_dump -h localhost -U postgres(用户名) 数据库名(缺省时同用户名) >/data/dum.sql 导出某个表pg_dump -h localhost -U postgres(用户名) 数据库名(缺省时同用户名) -t table(表名) >/data/dum.sql 压缩方法一般用dump导出数据会比较大，推荐使用xz压缩压缩方法 xz dum.sql 会生成 dum.sql.xz 的文件 xz压缩数据倒数数据库...

PostgreSQL学习手册(常用数据类型)

一、数值类型：下面是PostgreSQL所支持的数值类型的列表和简单说明：名字存储空间描述范围smallint2 字节小范围整数-32768 到 +32767integer4 字节常用的整数-2147483648 到 +2147483647bigint8 字节大范围的整数-9223372036854775808 到 9223372036854775807decimal变长用户声明精度，精确无限制numeric变长用户声明精度，精确无限制real4 字节变精度，不精确6 位十进制数字精度double8 字节变精度，不精确15 位十进制数字精...

postgresql 函数demo【代码】

create or replace function refresh_product_usage() returns void as $$ declarerec record;sub_rec record;init_pro_id integer;parent_product_id integer;now_bom_id integer;total_product_qty float;cinsider_efficiency boolean:=true;beginTRUNCATE TABLE product_usage; for rec in select id,bom_id,product_id,product_qty,product_efficiency from mrp_bom where bom_id is not null loopnow_bom_id:=rec.bom_id;t...

PostgreSQL 慢查询SQL语句跟踪

示例：启用 SQL 跟踪PostgreSQL 日志支持的输出格式有 stderr（默认）, csvlog , syslog一般的错误跟踪，只需在配置文件【postgresql.conf】简单设置几个参数，当然还有错误级别等要设置。logging_collector = onlog_destination = ‘stderr‘log_directory = ‘log‘log_filename = ‘postgresql-%Y-%m-%d_%H%M%S.log‘SELECT name,setting,vartype,boot_val,reset_val FROM pg_settings where name in(‘logging_collector‘,‘...

postgresql-行级安全-RLS【代码】

行级安全-RLS行级安全策略9.5版本新增的特性，该特性是在数据库授权体系下提供的更细粒度的控制。通俗的说就是不同用户可以看到表中不同的数据，这种控制是行级别的9.5以前的数据库安全技术是通过grant/revoke来实现的，这两个指令提供了对象级的安全限制，针对表还有列级别的安全限制。所有对数据的操作，暴扣数据查询和更新，都受策略的限制，如果没有配置安全策略，所有的查询和更新都会禁止，但是对全表进行操作的命令，trunca...

CentOS8安装PostgreSQL12【代码】

1.PostgreSQL的安装1.1 下载并安装PostgreSQL官方yum源配置文件dnf installhttps://download.postgresql.org/pub/repos/yum/reporpms/EL-8-x86_64/pgdg-redhat-repo-latest.noarch.rpm1.2 禁用系统内置yum源的PostgreSQL安装模块PostgreSQL官方的yum源配置文件提供了PostgreSQL12/11/10/9.6/9.5共5个版本的配置信息，一般情况下我们只使用计划安装版本的配置信息，禁用不需要的配置信息可以提高下载速度。要安装12版，可以禁用11/1...

如何取得select结果数据集的前10条记录。postgresql

我用的是POSTGRESQL。select name from t_personal order by personal_id desc我想取得上面结果数据的，前10条记录。SQL语句怎么改。我记得好象SQLSERVER是。select top 10 ....,什么的。谁知道POSTGRESQL怎么写 select name from t_personal order by personal_id desc limit 10原文：https://www.cnblogs.com/telwanggs/p/10688291.html

安装postgresql11.5【代码】

root身份安装创建用户编译安装成功后，接下来要做的就是创建一个普通用户，因为默认超级用户（root）不能启动postgresql，所以需要创建一个普通用户来启动数据库，执行以下命令创建用户：[root@localhost build_dir]# groupadd postgres [root@localhost build_dir]# useradd -g postgres postgres [root@localhost build_dir]# passwd postgres接下来设置权限，将pg的数据目录全部赋给postgres用户，执行以下命令：[root@localhos...

PostgreSQL中的引号和null【代码】【图】

今天工作时写了一个sql，但是PostgreSQL总是提示有语法错误,简单的做个记录：问题1、‘‘ 和“”单引号和双引号举个例子：1 #1、select id, delivery_date, sal_plan_date from zaiko_shop where id=""; 2 #2、select id, delivery_date, sal_plan_date from zaiko_shop where id=‘‘; 上面的两句sql中不同的知识#1用的是双引号，#2用的是单引号但是#1却会报错：上面的这个问题就提示我们在写sql语句时尽量这...

PostgreSQL安装详细步骤（windows）

PostgreSQL安装：一、windows下安装过程安装介质：postgresql-9.1.3-1-windows.exe（46M），安装过程非常简单，过程如下：1、开始安装：2、选择程序安装目录：注：安装 PostgreSQL 的分区最好是 NTFS 格式的。PostgreSQL 首要任务是要保证数据的完整性，而 FAT 和 FAT32 文件系统不能提供这样的可靠性保障，而且 FAT 文件系统缺乏安全性保障，无法保证原始数据在未经授权的情况下被更改。此外，PostgreSQL 所使用的"多分点"功能完成...

postgresql 日期格式【代码】【图】

在PG中，关于日期时间的有如下几种方法select now(),CURRENT_DATE,CURRENT_TIME,CURRENT_TIMESTAMP ;显示结果如下： SELECT to_char(now(),‘YYYY-MM-DD HH24:MI:SS‘) now; now 2020-04-0815:42:11 SELECT to_char(CURRENT_DATE,‘YYYY-MM-DD HH24:MI:SS‘) asCURRENT_DATE; CURRENT_DATE2020-04-0800:00:00CURRENT_TIME暂不能进行to_char格式化SELECT to_char(CURRENT_TIMESTAMP,‘YYYY-MM-DD HH24:MI:SS‘) asCURRENT_TIMESTA...

Navicat Premium连接PostgreSQL【图】

连接PostgreSQL时，报错大致意思：你当前的IP没有连接权限，在文件pg_hba中缺少当前IP的配置解决：找你的PostgreSQL安装路径，这是我的：C:\Program Files\PostgreSQL\9.5\data ，找到pg_hba.conf 这个文件，文本打开，在文本内容的最后面、红框内的内容，是完全复制上一行的，数字全部修改为0，其他的都不需要修改。保存关闭再次尝试连接...成功了！原文：http://www.cnblogs.com/webonline/p/6525076.html

首页 / POSTGRCSQL / PostgreSQL中快速对系统表实现vacuumfull

PostgreSQL中快速对系统表实现vacuumfull

内容导读

内容图文

内容总结

内容备注

内容手机端

【PostgreSQL中快速对系统表实现vacuumfull】教程文章相关的互联网学习教程文章

POSTGRESQL - 相关标签

系统 - 相关标签

POSTGRCSQL - 技术教程分类

POSTGRCSQL - 最新教程

POSTGRCSQL - 最热教程