首页 / UBUNTU / pgpool 之四 ubuntu 16.04 + postgresql 9.6.8 + pgpool-II-3.7.7 两节点的 master slave(stream replication) 模式
pgpool 之四 ubuntu 16.04 + postgresql 9.6.8 + pgpool-II-3.7.7 两节点的 master slave(stream replication) 模式
内容导读
互联网集市收集整理的这篇技术教程文章主要介绍了pgpool 之四 ubuntu 16.04 + postgresql 9.6.8 + pgpool-II-3.7.7 两节点的 master slave(stream replication) 模式，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含12813字，纯文字阅读大概需要19分钟。
内容图文
os: ubuntu 16.04
db: postgresql 9.6.8
pgpool: pgpool-II-3.7.7
pgpool 简介
准确的名字是Pgpool-II，这里简称为pgpool。pgpool 是介于postgresql 服务和 postgresql 客户端的中间件。它提供如下功能：
1、连接池
2、复制
3、负载均衡
4、限制超过限度的连接
5、并行查询
具有如下工作模式：
1、原始模式
2、连接池模式
3、复制模式
4、主/备模式
5、并行模式
虽然看上去功能强大，但是配置相对繁琐。
本次实验为 node1、node2 两节点，每个节点上均安装了 postgresql 和 pgpool ，vip 为 192.168.56.100
规划如下：
192.168.56.100 nodevip #vip
192.168.56.92 node1 #postgresql 9.6.8,pgpool
192.168.56.90 node2 #postgresql 9.6.8,pgpool
安装好postgresql 9.6.8 并配置好 stream replication
使用 apt install 方式安装 postgresql 9.6.8，详细过程略
postgres=# \x
Expanded display is on.
postgres=#
postgres=# select * from pg_stat_replication;
-[ RECORD 1 ]----+------------------------------
pid | 7402
usesysid | 16384
usename | repl
application_name | walreceiver
client_addr | 192.168.56.90
client_hostname |
client_port | 50798
backend_start | 2019-01-02 13:51:34.979528+08
backend_xmin | 591
state | streaming
sent_location | 0/C000060
write_location | 0/C000060
flush_location | 0/C000060
replay_location | 0/C000060
sync_priority | 0
sync_state | async
安装pgpool
# vi /etc/sudoers
postgres ALL=(ALL:ALL) NOPASSWD:ALL
# mkdir -p /var/run/pgpool;chown -R postgres:postgres /var/run/pgpool;
# mkdir -p /usr/pgpool-3.7.7
# apt install make gcc libssl-dev libpam0g libpam0g-dev
使用的是 apt install 方式，所以需要 root 权限 make install
# su - postgres
$ cd ~
$ wget http://www.pgpool.net/download.php?f=pgpool-II-3.7.7.tar.gz
$ tar -zxvf ./download.php\?f\=pgpool-II-3.7.7.tar.gz
$ cd pgpool-II-3.7.7
$ ./configure --prefix=/usr/pgpool-3.7.7 -with-pgsql=/usr/lib/postgresql/9.6 \
--with-pgsql-includedir=/usr/include/postgresql \
--with-pgsql-libdir=/usr/lib/postgresql/9.6/lib \
--with-openssl --with-pam
$ make
$ sudo make install
$ cd ./src/sql
$ make
$ sudo make install
如果有额外的缺少包错误提示，按照错误提示安装就行了。
$ ls -l /usr/lib/postgresql/9.6/lib |grep -i pool
-rwxr-xr-x 1 root root 66672 Jan 2 11:23 pgpool_adm.so
-rwxr-xr-x 1 root root 46448 Jan 2 11:23 pgpool-recovery.so
-rwxr-xr-x 1 root root 30328 Jan 2 11:23 pgpool-regclass.so
$ ls -l /usr/share/postgresql/9.6/extension/ |grep -i pool
-rw-r--r-- 1 root root 2574 Jan 2 11:23 pgpool_adm--1.0.sql
-rw-r--r-- 1 root root 146 Jan 2 11:23 pgpool_adm.control
-rw-r--r-- 1 root root 407 Jan 2 11:23 pgpool_recovery--1.0--1.1.sql
-rw-r--r-- 1 root root 791 Jan 2 11:23 pgpool_recovery--1.0.sql
-rw-r--r-- 1 root root 1002 Jan 2 11:23 pgpool_recovery--1.1.sql
-rw-r--r-- 1 root root 178 Jan 2 11:23 pgpool_recovery.control
-rw-r--r-- 1 root root 557 Jan 2 11:23 pgpool-recovery.sql
-rw-r--r-- 1 root root 283 Jan 2 11:23 pgpool_regclass--1.0.sql
-rw-r--r-- 1 root root 152 Jan 2 11:23 pgpool_regclass.control
-rw-r--r-- 1 root root 142 Jan 2 11:23 pgpool-regclass.sql
pgpool 函数非必需安装，但强烈建议安装 pgpool_adm, pgpool_regclass, pgpool_recovery 函数 。
官方文档是这样说的 pgpool_adm is an extension and should be installed on all PostgreSQL servers
在 master 节点的 template1 数据库上创建 extension，这样以后新建的数据库都会有这些 pgpool 的扩展。
postgres=# select * from pg_available_extensions where name like '%pool%';
name | default_version | installed_version | comment
-----------------+-----------------+-------------------+----------------------------------------------------
pgpool_recovery | 1.1 | | recovery functions for pgpool-II for V3.4 or later
pgpool_adm | 1.0 | | Administrative functions for pgPool
pgpool_regclass | 1.0 | | replacement for regclass
(3 rows)
postgres=# \c template1
template1=# create extension pgpool_adm;
CREATE EXTENSION
template1=# create extension pgpool_regclass;
CREATE EXTENSION
template1=# create extension pgpool_recovery;
CREATE EXTENSION
配置 postgres 的免密登录
$ ssh-keygen -t rsa
$ ssh-copy-id postgres@192.168.56.92
$ ssh-copy-id postgres@192.168.56.90
pgpool 的配置
有几个关键的配置文件
pcp.conf 用于管理查、看节点信息，如加入新节点。该文件主要是存储用户名及md5形式的密码。
pgpool.conf 用于设置pgpool的模式，主次数据库的相关信息等。
pool_hba.conf 用于认证用户登录方式，如客户端IP限制等，类似于postgresql的pg_hba.conf文件。
pool_passwd 用于保存相应客户端登录帐号名及md5密码。
pcp.conf
pcp.conf 用于管理查、看节点信息，如加入新节点。该文件主要是存储管理员的用户名及md5形式的密码。
$ cd /usr/pgpool-3.7.7/etc
$ sudo cp pcp.conf.sample pcp.conf
$ ../bin/pg_md5 -u pgpool -p
password:rootroot
b4b8daf4b8ea9d39568719e1e320076f
$ sudo vi pcp.conf
pgpool:b4b8daf4b8ea9d39568719e1e320076f
pool_hba.conf
pool_hba.conf 用于认证用户登录方式，如客户端IP限制等，类似于postgresql的pg_hba.conf文件。
$ cd /usr/pgpool-3.7.7/etc
$ sudo cp pool_hba.conf.sample pool_hba.conf
$ sudo vi pool_hba.conf
# TYPE DATABASE USER CIDR-ADDRESS METHOD
# "local" is for Unix domain socket connections only
local all all trust
# IPv4 local connections:
host all all 127.0.0.1/32 trust
host all all ::1/128 trust
host all all 192.168.56.1/32 md5
最后一条是手动添加的。
pgpool.conf
pgpool.conf 用于设置pgpool的模式，主次数据库的相关信息等。
功能/模式 原始模式(*3) 复制模式 主/备模式 并行查询模式
连接池 X O O O
复制 X O X (*1)
负载均衡 X O O (*1)
故障恢复 O O O X
在线恢复 X O (*2) X
并行查询 X X X O
需要的
服务器数 1 或更多 2 或更多 2 或更多 2 或更多
是否需要
系统数据库 否 否 否 是
O 意味着“可用”， X 意味着“不可用
(*1) 并行查询模式需要同时打开复制和负载均衡，但是复制和负载均衡无法用于并行查询模式中的分布式表。
(*2) 在线恢复可以和流复制同时使用。
(*3) 客户端仅仅是通过 pgpool-II 连接到 PostgreSQL 服务器。这种模式仅仅用于限制到服务器的连接数，或者在多台机器上启用故障恢复。
$ cd /usr/pgpool-3.7.7/etc
$ sudo cp pgpool.conf.sample-stream pgpool.conf
$ sudo vi pgpool.conf
#------------------------------------------------------------------------------
# 监听配置
#------------------------------------------------------------------------------
listen_addresses = '*'
port = 9999
socket_dir = '/tmp'
pcp_listen_addresses = '*'
pcp_port = 9898
pcp_socket_dir = '/tmp'
#------------------------------------------------------------------------------
# 后端数据库
#------------------------------------------------------------------------------
backend_hostname0 = '192.168.56.92'
backend_port0 = 5432
backend_weight0 = 1
backend_data_directory0 = '/data/pg9.6/main'
backend_flag0 = 'ALLOW_TO_FAILOVER'
#------------------------------------------------------------------------------
# 后端数据库
#------------------------------------------------------------------------------
backend_hostname1 = '192.168.56.90'
backend_port1 = 5432
backend_weight1 = 1
backend_data_directory1 = '/data/pg9.6/main'
backend_flag1 = 'ALLOW_TO_FAILOVER'
#------------------------------------------------------------------------------
# 认证方式
#------------------------------------------------------------------------------
enable_pool_hba = on
pool_passwd = 'pool_passwd'
authentication_timeout = 60
ssl = on
#------------------------------------------------------------------------------
# 连接池配置
#------------------------------------------------------------------------------
num_init_children = 32
max_pool = 4
child_life_time = 300
child_max_connections = 0
connection_life_time = 0
client_idle_limit = 0
#------------------------------------------------------------------------------
# 日志配置
#------------------------------------------------------------------------------
log_destination = 'syslog'
log_line_prefix = '%t: pid %p: ' # printf-style string to output at beginning of each log line.
log_connections = on
log_hostname = on
log_statement = off
log_per_node_statement = off
log_standby_delay = 'if_over_threshold'
syslog_facility = 'LOCAL0'
syslog_ident = 'pgpool'
log_error_verbosity = verbose
#------------------------------------------------------------------------------
# pid信息
#------------------------------------------------------------------------------
pid_file_name = '/var/run/pgpool/pgpool.pid'
logdir = '/tmp'
#------------------------------------------------------------------------------
# pgpool 连接池
#------------------------------------------------------------------------------
connection_cache = on
reset_query_list = 'ABORT; DISCARD ALL'
#------------------------------------------------------------------------------
# pgpool 工作模式
#------------------------------------------------------------------------------
replication_mode = off
load_balance_mode = on
master_slave_mode = on
master_slave_sub_mode = 'stream'
#------------------------------------------------------------------------------
# stream 检测
#------------------------------------------------------------------------------
sr_check_period = 5
sr_check_user = 'repl'
sr_check_password = 'pass0rd!@123'
sr_check_database = 'postgres'
delay_threshold = 10000000
follow_master_command = ''
#------------------------------------------------------------------------------
# health check 健康检测
#------------------------------------------------------------------------------
health_check_period = 5
health_check_timeout = 20
health_check_user = 'postgres'
health_check_password = '@Postgres%123'
health_check_database = 'postgres'
#------------------------------------------------------------------------------
# failover and failback
#------------------------------------------------------------------------------
failover_command = '/usr/pgpool-3.7.7/failover_stream.sh %d %H /tmp/postgresql.trigger.5432 '
failback_command = ''
#------------------------------------------------------------------------------
# WATCHDOG
#------------------------------------------------------------------------------
use_watchdog = on
ping_path = '/bin'
wd_hostname = '192.168.56.92'
wd_port = 9000
#------------------------------------------------------------------------------
# WATCHDOG vip
#------------------------------------------------------------------------------
delegate_IP = '192.168.56.100'
if_cmd_path = '/sbin'
if_up_cmd = 'ip addr add $_IP_$/24 dev eno1 label eno1:1'
if_down_cmd = 'ip addr del $_IP_$/24 dev eno1'
arping_path = '/usr/sbin'
arping_cmd = 'arping -U $_IP_$ -w 1'
#------------------------------------------------------------------------------
# WATCHDOG heartbeat mode
#------------------------------------------------------------------------------
wd_heartbeat_port = 9694
wd_heartbeat_keepalive = 2
wd_heartbeat_deadtime = 30
heartbeat_destination0 = '192.168.56.90'
heartbeat_destination_port0 = 9694
heartbeat_device0 = 'eno1'
#------------------------------------------------------------------------------
# Other pgpool Connection Settings
#------------------------------------------------------------------------------
other_pgpool_hostname0 = '192.168.56.90'
other_pgpool_port0 = 9999
other_wd_port0 = 9000
另外一个节点的 pgpool.conf 酌情改动
# vi /usr/pgpool-3.7.7/failover_stream.sh
#!/bin/bash
failed_node=$1
new_master=$2
trigger_file=$3
# Do nothing if standby goes down.
if [ $failed_node = 1 ]; then
echo "`date +%Y-%m-%d\ %H:%M:%S,%3N` pgpool: FATAL: [$failed_node,$new_master,$trigger_file] postgresql slave is down,please check immediate"
echo "`date +%Y-%m-%d\ %H:%M:%S,%3N` pgpool: FATAL: [$failed_node,$new_master,$trigger_file] postgresql slave is down,please check immediate"
echo "`date +%Y-%m-%d\ %H:%M:%S,%3N` pgpool: FATAL: [$failed_node,$new_master,$trigger_file] postgresql slave is down,please check immediate"
exit 0;
fi
echo "`date +%Y-%m-%d\ %H:%M:%S,%3N` pgpool: FATAL: [$failed_node,$new_master,$trigger_file] will failover,please check immediate"
echo "`date +%Y-%m-%d\ %H:%M:%S,%3N` pgpool: FATAL: [$failed_node,$new_master,$trigger_file] will failover,please check immediate"
echo "`date +%Y-%m-%d\ %H:%M:%S,%3N` pgpool: FATAL: [$failed_node,$new_master,$trigger_file] will failover,please check immediate"
# Create the trigger file.
/usr/bin/ssh -T $new_master /bin/touch $trigger_file
exit 0;
pool_passwd
pool_passwd 用于保存 postgresql 用户名及md5密码。
$ cd /usr/pgpool-3.7.7/etc
$ ../bin/pg_md5 -u postgres -p
password:
$ sudo vi pool_passwd
pgpool 环境变量
# vi /etc/profile
PATH=/usr/pgpool-3.7.7/bin:$PATH
至此，安装完毕
参考:
http://www.pgpool.net/mediawiki/index.php/Downloads
http://www.pgpool.net/docs/latest/en/html/index.html
内容总结
以上是互联网集市为您收集整理的pgpool 之四 ubuntu 16.04 + postgresql 9.6.8 + pgpool-II-3.7.7 两节点的 master slave(stream replication) 模式全部内容，希望文章能够帮你解决pgpool 之四 ubuntu 16.04 + postgresql 9.6.8 + pgpool-II-3.7.7 两节点的 master slave(stream replication) 模式所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。
内容备注
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。
内容手机端
扫描二维码推送至手机访问。
来源：【匿名】