在前面的章节中，我们已经理解了各种复制概念。这不仅仅是一个为了接下来将要介绍的东西而增强您的意识的理论概述，还将为您介绍大体的主题。 在本章，我们将更加接近实际的解决方案，并了解PostgreSQL内部是如何工作的，复制意味着什么。我们将看到所谓的事务日志(XLOG)做什么，以及它是如何运作的。XLOG在PostgreSQL复制机制中起着主要作用。理解这部分是如何工作的是必要的。 2.1 PostgreSQL如何写入数据 PostgreSQL的复制完全是...
2.4 调整检查点和XLOG 目前为止，这一章已经提供深入洞察PostgreSQL如何写入数据，一般来说，XLOG是用来干什么的。考虑到这方面的知识，我们现在可以继续并学习我们能做些什么来使我们的数据库在复制和单台服务器运行的两种情况更加有效的工作。 2.4.1 理解检查点 在本章中，我们已经看到在数据可能到其它地方之前，它已经被写入到了XLOG。问题是，如果XLOG从未被删除，显然，在没有填满磁盘的同一时间，我们不会永远写到XLOG中。 ...
2.5 XLOG的内部结构 我们将使用事务贯穿本书，并让您在技术层面上更深地洞察事情是如果工作的，我们已经增加了这部分专门处理XLOG的内部工作机制。我们会尽量避免前往下降到C级，因为这将超出本书的范围，但我们会为您提供希望足够深的见解。 2.5.1 理解XLOG记录 对XLOG所做的更改是基于记录的。这意味着什么？让我们假设您在给一个表添加一行数据： test=# INSERT INTO t_test VALUES (1, ‘hans‘); INSERT 0 1 在这个例子中，我...
:~$ psql psql (9.5.0)Type "help" for help.postgres=# CREATE DATABASE test;CREATE DATABASE 修改配置文件，开启日志备份，将写满的文件复制到archive文件夹下 vim /etc/postgresql/9.5/main/postgresql.conf wal_level = archivearchive_mode = onarchive_command = ‘ test ! -f /var/lib/postgresql/archive/%f && cp %p /var/lib/postgresql/archive/%f‘ 创建archive文件夹，并重启数据库服务 postgres@debian:~$ mkdir ar...
1.logging_collector = on/off ---- 是否将日志重定向至文件中，默认是off（该配置修改后，需要重启DB服务） DB安装完成，启动的服务进程如下[root@localhost ~]# ps -elf | grep postgres 0 S postgres 2385 1 0 80 0 - 66829 poll_s 12:41 ? 00:00:00 /opt/pg9.6/bin/postgres -D /mnt/pgdata 1 S postgres 2387 2385 0 80 0 - 66829 ep_pol 12:41 ? 00:00:00 postgres: checkpointer process ...
WaitForWALToBecomeAvailable：if (!InArchiveRecovery)currentSource = XLOG_FROM_PG_WAL;else if (currentSource == 0)currentSource = XLOG_FROM_ARCHIVE;for (;;){int oldSource = currentSource;if (lastSourceFailed){switch (currentSource){case XLOG_FROM_ARCHIVE:case XLOG_FROM_PG_WAL://如果是备机，并且执行了promote或者存在TriggerFile文件则shutdown receive进程if (StandbyMode && CheckForStandbyTrigger()){Shu...
= on # 日志输出路径，可以是自定义绝对路径或相对于数据目录 PGDATA 的相对路径log_directory = ‘log‘# 文件名，可以带上格式字符串log_filename = ‘postgresql-%a.log‘# 当生成新的文件时，文件名已存在，则覆盖同名旧文件名log_truncate_on_rotation = on#设置日志记录内容，log_statement：none, ddl, mod, and all 默认是 none # None表示不记录，ddl记录所有数据定义命令，比如CREATE,ALTER,和DROP语句，# mod记录所...
1.Write Ahead Log(WAL日志)预写日志（WAL）是保证数据完整性的标准方法。在有关交易处理的大多数（如果不是全部）书籍中都可以找到详细说明。 简而言之，WAL的核心概念是，只有在记录了对这些更改之后，即在描述更改的日志记录已刷新到永久存储之后，才写入对数据文件（表和索引所在的位置）的更改。如果我们遵循此过程，我们不需要在每次事务提交时将数据页刷新到磁盘，因为我们知道如果发生崩溃，我们将能够使用日志恢复数据库：...
. 参数max_wal_size/min_wal_size9.5以前： (2 + checkpoint_completion_target) * checkpoint_segments + 19.5：PostgreSQL 9.5 将废弃checkpoint_segments 参数, 并引入max_wal_size 和 min_wal_size 参数, 通过max_wal_size和checkpoint_completion_target 参数来控制产生多少个XLOG后触发检查点, 通过min_wal_size和max_wal_size参数来控制哪些XLOG可以循环使用。 2. 参数wal_keep_segments在流复制的环境中。使用流复制建好备...
1、事务的概念 事务是从实际生活中引入数据库的一个概念，即事务内的操作，要么全做，要么全不做。就像银行转账一样，当从一个帐户转出一部分钱之后，就必须在另一个帐户中存入相同数目的钱，若是转出钱之后，事务中止了，没有在另一个帐户中存钱，那么钱就不翼而飞了，这就是事务的原子性。当事务完成后，必须将其结果记录下来，不然就无从知道事务是已经发生还是尚未发生，这是事务的持久性。此外，事务还有隔离性和一致性。2、...
26167 1 1 09:55 ? 00:00:00 /usr/lib/postgresql/9.5/bin/postgres -D /var/lib/postgresql/9.5/main -c config_file=/etc/postgresql/9.5/main/postgresql.conf postgres 26169 26167 0 09:55 ? 00:00:00 postgres: checkpointer process postgres 26170 26167 0 09:55 ? 00:00:00 postgres: writer process postgres 26171 26167 0 09:55 ? 00:00:00 postgres: wal writer process postgres 26172 26167 0 09:55 ? 00:00:00 ...
1.启用pg_log并配置日志参数log_destination = ‘csvlog‘logging_collector = onlog_directory = ‘pg_log‘log_filename = ‘postgresql-%Y-%m-%d_%H%M%S.log‘log_rotation_age = 1dlog_rotation_size = 100MBlog_min_messages = warning参数解释：log_directory = ‘/data/pgsql086/log‘这个参数只能在postgresql.conf文件中被设置。它决定存放数据库运行日志文件的目录。默认值是pg_log。可以是绝对路径，也可是相对路径（相...
1. 最近想简单的进行数据库的备份工作, 因为现在数据库主要是用的pg数据库 , 所以想到用文本的方式进行, 有清理了一下日志表的数据 这里一起记录一下. 先记录一下查看比较大的表的信息. 从网上找了下资料, 使用子查询的方式来查询表信息. 来源网页:https://www.cnblogs.com/ilifeilong/p/9244370.htmlSELECTtable_name,pg_size_pretty(table_size) AS table_size,pg_size_pretty(indexes_size) AS indexes_size,pg_size_pretty(...
背景 公司的项目中使用了postgresql（简称pg）作为其数据库管理系统，前两天环境突然崩溃了，页面无法打开。经过排查，我发现是数据库所在机器磁盘满了，通过目录和文件排序，原来是pg的日志太多（大约保留了大半年的日志在磁盘上没有被清理）。 我看了下pg的日志配置，发现基本都是用的默认配置，日志滚动没有开启，于是乎做了下相关配置优化后对pg进行重启，最后看了pg的日志滚动，恢复正常了。以下是我梳理的关于pg的日志...
日志乱码 2020-05-26 02:02:05.729 HKT [8100] 鏃ュ織: 鐢变簬缁熻鏀堕泦鍣ㄦ棤鍝嶅簲鑰屼娇鐢ㄦ棫鐨勭粺璁′俊鎭潵浠ｆ浛褰撳墠鐨勭粺璁′俊鎭? 2020-05-26 02:30:05.439 HKT [3152] 閿欒: 鍦ㄥ瓧娈?"ownerid" 涓┖鍊艰繚鍙嶄簡闈炵┖绾︽潫解决方案打开配置文件 ~\data\postgresql.conf 修改 lc_messages = C