正文
centos7服务器常见安装包准备
提示：扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
内核相关配置https://github.com/digoal/blog/blob/master/201611/20161121_01.md
# vi /etc/sysctl.conf# add by digoal.zhou
fs.aio-max-nr =
fs.file-max =
kernel.core_pattern= /data01/corefiles/core_%e_%u_%t_%s.%p
# /data01/corefiles事先建好，权限777，如果是软链接，对应的目录修改为777
kernel.sem =
# 信号量, ipcs -l 或 -u 查看，每16个进程一组，每组信号量需要17个信号量。
kernel.shmall =
# 所有共享内存段相加大小限制(建议内存的80%)
kernel.shmmax =
# 最大单个共享内存段大小(建议为内存一半), >.2的版本已大幅降低共享内存的使用
kernel.shmmni =
# 一共能生成多少共享内存段，每个PG数据库集群至少2个共享内存段
net.core.netdev_max_backlog =
net.core.rmem_default =
# The default setting of the socket receive buffer in bytes.
net.core.rmem_max =
# The maximum receive socket buffer size in bytes
net.core.wmem_default =
# The default setting (in bytes) of the socket send buffer.
net.core.wmem_max =
# The maximum send socket buffer size in bytes.
net.core.somaxconn =
net.ipv4.tcp_max_syn_backlog =
net.ipv4.tcp_keepalive_intvl =
net.ipv4.tcp_keepalive_probes =
net.ipv4.tcp_keepalive_time =
net.ipv4.tcp_mem =
net.ipv4.tcp_fin_timeout =
net.ipv4.tcp_synack_retries =
net.ipv4.tcp_syncookies =
# 开启SYN Cookies。当出现SYN等待队列溢出时，启用cookie来处理，可防范少量的SYN攻击
net.ipv4.tcp_timestamps =
# 减少time_wait
net.ipv4.tcp_tw_recycle =
# 如果=1则开启TCP连接中TIME-WAIT套接字的快速回收，但是NAT环境可能导致连接失败，建议服务端关闭它
net.ipv4.tcp_tw_reuse =
# 开启重用。允许将TIME-WAIT套接字重新用于新的TCP连接
net.ipv4.tcp_max_tw_buckets =
net.ipv4.tcp_rmem =
net.ipv4.tcp_wmem =
net.nf_conntrack_max =
net.netfilter.nf_conntrack_max =
vm.dirty_background_bytes =
# 系统脏页到达这个值，系统后台刷脏页调度进程 pdflush（或其他） 自动将(dirty_expire_centisecs/）秒前的脏页刷到磁盘
vm.dirty_expire_centisecs =
# 比这个值老的脏页，将被刷到磁盘。3000表示30秒。
vm.dirty_ratio =
# 如果系统进程刷脏页太慢，使得系统脏页超过内存 % 时，则用户进程如果有写磁盘的操作（如fsync, fdatasync等调用），则需要主动把系统脏页刷出。
# 有效防止用户进程刷脏页，在单机多实例，并且使用CGROUP限制单实例IOPS的情况下非常有效。
vm.dirty_writeback_centisecs =
# pdflush（或其他）后台刷脏页进程的唤醒间隔， 100表示1秒。
vm.mmap_min_addr =
vm.overcommit_memory =
# 在分配内存时，允许少量over malloc, 如果设置为 , 则认为总是有足够的内存，内存较少的测试环境可以使用 .
vm.overcommit_ratio =
# 当overcommit_memory = 时，用于参与计算允许指派的内存大小。
vm.swappiness =
# 关闭交换分区
vm.zone_reclaim_mode =
# 禁用 numa, 或者在vmlinux中禁止.
net.ipv4.ip_local_port_range =
# 本地自动分配的TCP, UDP端口号范围
fs.nr_open=
# 单个进程允许打开的文件句柄上限
net.ipv4.tcp_max_syn_backlog =
net.core.somaxconn = # 以下参数请注意
# vm.extra_free_kbytes =
# vm.min_free_kbytes = # vm.min_free_kbytes 建议每32G内存分配1G vm.min_free_kbytes
# 如果是小内存机器，以上两个值不建议设置
# vm.nr_hugepages =
# 建议shared buffer设置超过64GB时 使用大页，页大小 /proc/meminfo Hugepagesize
# vm.lowmem_reserve_ratio =
# 对于内存大于64G时，建议设置，否则建议默认值 322. 生效配置
sysctl -p
配置OS资源限制
# vi /etc/security/limits.conf# nofile超过1048576的话，一定要先将sysctl的fs.nr_open设置为更大的值，并生效后才能继续设置nofile.* soft nofile 1024000
* hard nofile 1024000
* soft nproc unlimited
* hard nproc unlimited
* soft core unlimited
* hard core unlimited
* soft memlock unlimited
* hard memlock unlimited
最好在关注一下/etc/security/limits.d目录中的文件内容，会覆盖limits.conf的配置。
已有进程的ulimit请查看/proc/pid/limits，例如
Limit Soft Limit Hard Limit Units
Max cpu time unlimited unlimited seconds
Max file size unlimited unlimited bytes
Max data size unlimited unlimited bytes
Max stack size 10485760 unlimited bytes
Max core file size 0 unlimited bytes
Max resident set unlimited unlimited bytes
Max processes 11286 11286 processes
Max open files 1024 4096 files
Max locked memory 65536 65536 bytes
Max address space unlimited unlimited bytes
Max file locks unlimited unlimited locks
Max pending signals 11286 11286 signals
Max msgqueue size 819200 819200 bytes
Max nice priority 0 0
Max realtime priority 0 0
Max realtime timeout unlimited unlimited us
如果你要启动其他进程，建议退出SHELL再进一遍，确认ulimit环境配置已生效，再启动。
配置OS防火墙
（建议按业务场景设置，我这里先清掉）
iptables -F
配置范例
# 私有网段
-A INPUT -s 192.168.0.0/16 -j ACCEPT
-A INPUT -s 10.0.0.0/8 -j ACCEPT
-A INPUT -s 172.16.0.0/16 -j ACCEPT
selinux
如果没有这方面的需求，建议禁用
# vi /etc/sysconfig/selinux SELINUX=disabled
SELINUXTYPE=targeted
关闭不必要的OS服务
chkconfig --list|grep on
关闭不必要的,例如
chkconfig iscsi off
部署文件系统
注意SSD对齐，延长寿命，避免写放大。
parted -s /dev/sda mklabel gpt
parted -s /dev/sda mkpart primary 1MiB 100%
格式化(如果你选择ext4的话)
mkfs.ext4 /dev/sda1 -m 0 -O extent,uninit_bg -E lazy_itable_init=1 -T largefile -L u01
建议使用的ext4 mount选项
# vi /etc/fstabLABEL=u01 /u01 ext4 defaults,noatime,nodiratime,nodelalloc,barrier=0,data=writeback 0 0# mkdir /u01
# mount -a
建议pg_xlog放到独立的IOPS性能贼好的块设备中。
设置SSD盘的调度为deadline
如果不是SSD的话，还是使用CFQ，否则建议使用DEADLINE。
临时设置(比如sda盘)
echo deadline > /sys/block/sda/queue/scheduler
永久设置
编辑grub文件修改块设备调度策略
vi /boot/grub.confelevator=deadline
注意，如果既有机械盘，又有SSD，那么可以使用/etc/rc.local，对指定磁盘修改为对应的调度策略。
关闭透明大页、numa
加上前面的默认IO调度，如下
vi /boot/grub.confelevator=deadline numa=off transparent_hugepage=never
编译器
建议使用较新的编译器，安装 gcc 6.2.0 参考
《PostgreSQL clang vs gcc 编译》
如果已安装好，可以分发给不同的机器。
cd ~
tar -jxvf gcc6.2.0.tar.bz2
tar -jxvf python2.7.12.tar.bz2# vi /etc/ld.so.conf/home/digoal/gcc6.2.0/lib
/home/digoal/gcc6.2.0/lib64
/home/digoal/python2.7.12/lib# ldconfig
环境变量
# vi ~/env_pg.shexport PS1="$USER@`/bin/hostname -s`-> "
export PGPORT=$1
export PGDATA=/$2/digoal/pg_root$PGPORT
export LANG=en_US.utf8
export PGHOME=/home/digoal/pgsql9.6
export LD_LIBRARY_PATH=/home/digoal/gcc6.2.0/lib:/home/digoal/gcc6.2.0/lib64:/home/digoal/python2.7.12/lib:$PGHOME/lib:/lib64:/usr/lib64:/usr/local/lib64:/lib:/usr/lib:/usr/local/lib:$LD_LIBRARY_PATH
export PATH=/home/digoal/gcc6.2.0/bin:/home/digoal/python2.7.12/bin:/home/digoal/cmake3.6.3/bin:$PGHOME/bin:$PATH:.
export DATE=`date +"%Y%m%d%H%M"`
export MANPATH=$PGHOME/share/man:$MANPATH
export PGHOST=$PGDATA
export PGUSER=postgres
export PGDATABASE=postgres
alias rm='rm -i'
alias ll='ls -lh'
unalias vi
icc, clang
如果你想使用ICC或者clang编译PostgreSQL，请参考
常用安装包yum -y install
coreutils glib2 lrzsz mpstat dstat sysstat e4fsprogs xfsprogs ntp
readline-devel
zlib-devel
openssl-devel
pam-devel
libxml2-devel
libxslt-devel
python-devel
tcl-devel
curl-devel
expat-devel
gettext-devel
perl-devel
perl-ExtUtils*
openldap-devel
gcc make smartmontools flex bison jadetex openjade bzip#
https://github.com/digoal/blog/blob/master/201611/20161121_01.md
# vi /etc/sysctl.conf# add by digoal.zhou
fs.aio-max-nr =
fs.file-max =
kernel.core_pattern= /data01/corefiles/core_%e_%u_%t_%s.%p
# /data01/corefiles事先建好，权限777，如果是软链接，对应的目录修改为777
kernel.sem =
# 信号量, ipcs -l 或 -u 查看，每16个进程一组，每组信号量需要17个信号量。
kernel.shmall =
# 所有共享内存段相加大小限制(建议内存的80%)
kernel.shmmax =
# 最大单个共享内存段大小(建议为内存一半), >.2的版本已大幅降低共享内存的使用
kernel.shmmni =
# 一共能生成多少共享内存段，每个PG数据库集群至少2个共享内存段
net.core.netdev_max_backlog =
net.core.rmem_default =
# The default setting of the socket receive buffer in bytes.
net.core.rmem_max =
# The maximum receive socket buffer size in bytes
net.core.wmem_default =
# The default setting (in bytes) of the socket send buffer.
net.core.wmem_max =
# The maximum send socket buffer size in bytes.
net.core.somaxconn =
net.ipv4.tcp_max_syn_backlog =
net.ipv4.tcp_keepalive_intvl =
net.ipv4.tcp_keepalive_probes =
net.ipv4.tcp_keepalive_time =
net.ipv4.tcp_mem =
net.ipv4.tcp_fin_timeout =
net.ipv4.tcp_synack_retries =
net.ipv4.tcp_syncookies =
# 开启SYN Cookies。当出现SYN等待队列溢出时，启用cookie来处理，可防范少量的SYN攻击
net.ipv4.tcp_timestamps =
# 减少time_wait
net.ipv4.tcp_tw_recycle =
# 如果=1则开启TCP连接中TIME-WAIT套接字的快速回收，但是NAT环境可能导致连接失败，建议服务端关闭它
net.ipv4.tcp_tw_reuse =
# 开启重用。允许将TIME-WAIT套接字重新用于新的TCP连接
net.ipv4.tcp_max_tw_buckets =
net.ipv4.tcp_rmem =
net.ipv4.tcp_wmem =
net.nf_conntrack_max =
net.netfilter.nf_conntrack_max =
vm.dirty_background_bytes =
# 系统脏页到达这个值，系统后台刷脏页调度进程 pdflush（或其他） 自动将(dirty_expire_centisecs/）秒前的脏页刷到磁盘
vm.dirty_expire_centisecs =
# 比这个值老的脏页，将被刷到磁盘。3000表示30秒。
vm.dirty_ratio =
# 如果系统进程刷脏页太慢，使得系统脏页超过内存 % 时，则用户进程如果有写磁盘的操作（如fsync, fdatasync等调用），则需要主动把系统脏页刷出。
# 有效防止用户进程刷脏页，在单机多实例，并且使用CGROUP限制单实例IOPS的情况下非常有效。
vm.dirty_writeback_centisecs =
# pdflush（或其他）后台刷脏页进程的唤醒间隔， 100表示1秒。
vm.mmap_min_addr =
vm.overcommit_memory =
# 在分配内存时，允许少量over malloc, 如果设置为 , 则认为总是有足够的内存，内存较少的测试环境可以使用 .
vm.overcommit_ratio =
# 当overcommit_memory = 时，用于参与计算允许指派的内存大小。
vm.swappiness =
# 关闭交换分区
vm.zone_reclaim_mode =
# 禁用 numa, 或者在vmlinux中禁止.
net.ipv4.ip_local_port_range =
# 本地自动分配的TCP, UDP端口号范围
fs.nr_open=
# 单个进程允许打开的文件句柄上限
net.ipv4.tcp_max_syn_backlog =
net.core.somaxconn = # 以下参数请注意
# vm.extra_free_kbytes =
# vm.min_free_kbytes = # vm.min_free_kbytes 建议每32G内存分配1G vm.min_free_kbytes
# 如果是小内存机器，以上两个值不建议设置
# vm.nr_hugepages =
# 建议shared buffer设置超过64GB时 使用大页，页大小 /proc/meminfo Hugepagesize
# vm.lowmem_reserve_ratio =
# 对于内存大于64G时，建议设置，否则建议默认值 322. 生效配置sysctl -p
配置OS资源限制
# vi /etc/security/limits.conf# nofile超过1048576的话，一定要先将sysctl的fs.nr_open设置为更大的值，并生效后才能继续设置nofile.* soft nofile 1024000
* hard nofile 1024000
* soft nproc unlimited
* hard nproc unlimited
* soft core unlimited
* hard core unlimited
* soft memlock unlimited
* hard memlock unlimited
最好在关注一下/etc/security/limits.d目录中的文件内容，会覆盖limits.conf的配置。
已有进程的ulimit请查看/proc/pid/limits，例如
Limit Soft Limit Hard Limit Units
Max cpu time unlimited unlimited seconds
Max file size unlimited unlimited bytes
Max data size unlimited unlimited bytes
Max stack size 10485760 unlimited bytes
Max core file size 0 unlimited bytes
Max resident set unlimited unlimited bytes
Max processes 11286 11286 processes
Max open files 1024 4096 files
Max locked memory 65536 65536 bytes
Max address space unlimited unlimited bytes
Max file locks unlimited unlimited locks
Max pending signals 11286 11286 signals
Max msgqueue size 819200 819200 bytes
Max nice priority 0 0
Max realtime priority 0 0
Max realtime timeout unlimited unlimited us
如果你要启动其他进程，建议退出SHELL再进一遍，确认ulimit环境配置已生效，再启动。
配置OS防火墙
（建议按业务场景设置，我这里先清掉）
iptables -F
配置范例
# 私有网段
-A INPUT -s 192.168.0.0/16 -j ACCEPT
-A INPUT -s 10.0.0.0/8 -j ACCEPT
-A INPUT -s 172.16.0.0/16 -j ACCEPT
selinux
如果没有这方面的需求，建议禁用
# vi /etc/sysconfig/selinux SELINUX=disabled
SELINUXTYPE=targeted
关闭不必要的OS服务
chkconfig --list|grep on
关闭不必要的,例如
chkconfig iscsi off
部署文件系统
注意SSD对齐，延长寿命，避免写放大。
parted -s /dev/sda mklabel gpt
parted -s /dev/sda mkpart primary 1MiB 100%
格式化(如果你选择ext4的话)
mkfs.ext4 /dev/sda1 -m 0 -O extent,uninit_bg -E lazy_itable_init=1 -T largefile -L u01
建议使用的ext4 mount选项
# vi /etc/fstabLABEL=u01 /u01 ext4 defaults,noatime,nodiratime,nodelalloc,barrier=0,data=writeback 0 0# mkdir /u01
# mount -a
建议pg_xlog放到独立的IOPS性能贼好的块设备中。
设置SSD盘的调度为deadline
如果不是SSD的话，还是使用CFQ，否则建议使用DEADLINE。
临时设置(比如sda盘)
echo deadline > /sys/block/sda/queue/scheduler
永久设置
编辑grub文件修改块设备调度策略
vi /boot/grub.confelevator=deadline
注意，如果既有机械盘，又有SSD，那么可以使用/etc/rc.local，对指定磁盘修改为对应的调度策略。
关闭透明大页、numa
加上前面的默认IO调度，如下
vi /boot/grub.confelevator=deadline numa=off transparent_hugepage=never
编译器
建议使用较新的编译器，安装 gcc 6.2.0 参考
《PostgreSQL clang vs gcc 编译》
如果已安装好，可以分发给不同的机器。
cd ~
tar -jxvf gcc6.2.0.tar.bz2
tar -jxvf python2.7.12.tar.bz2# vi /etc/ld.so.conf/home/digoal/gcc6.2.0/lib
/home/digoal/gcc6.2.0/lib64
/home/digoal/python2.7.12/lib# ldconfig
环境变量
# vi ~/env_pg.shexport PS1="$USER@`/bin/hostname -s`-> "
export PGPORT=$1
export PGDATA=/$2/digoal/pg_root$PGPORT
export LANG=en_US.utf8
export PGHOME=/home/digoal/pgsql9.6
export LD_LIBRARY_PATH=/home/digoal/gcc6.2.0/lib:/home/digoal/gcc6.2.0/lib64:/home/digoal/python2.7.12/lib:$PGHOME/lib:/lib64:/usr/lib64:/usr/local/lib64:/lib:/usr/lib:/usr/local/lib:$LD_LIBRARY_PATH
export PATH=/home/digoal/gcc6.2.0/bin:/home/digoal/python2.7.12/bin:/home/digoal/cmake3.6.3/bin:$PGHOME/bin:$PATH:.
export DATE=`date +"%Y%m%d%H%M"`
export MANPATH=$PGHOME/share/man:$MANPATH
export PGHOST=$PGDATA
export PGUSER=postgres
export PGDATABASE=postgres
alias rm='rm -i'
alias ll='ls -lh'
unalias vi
icc, clang
如果你想使用ICC或者clang编译PostgreSQL，请参考
yum -y install
coreutils glib2 lrzsz mpstat dstat sysstat e4fsprogs xfsprogs ntp
readline-devel
zlib-devel
openssl-devel
pam-devel
libxml2-devel
libxslt-devel
python-devel
tcl-devel
curl-devel
expat-devel
gettext-devel
perl-devel
perl-ExtUtils*
openldap-devel
gcc make smartmontools flex bison jadetex openjade bzip#
