皮皮网

1.PostgreSQL10~13版本以来的源码新特性史上最全总结
2.PostgreSQL可见性映射表(VM)和VACUUM操作
3.postgresql autovacuum 进程CPU占用高，而且analyze进程一直在执行不结束
4.vacuumdb命令如何根据需要清理和优化PostgreSQL数据库的源码特定表或所有数据库？

PostgreSQL10~13版本以来的新特性史上最全总结

       中启乘数科技是一家专注于PostgreSQL和Greenplum数据库服务的专业提供商。本文旨在全面总结PostgreSQL从至版本间的源码特性更新，为用户和开发者提供一个全面的源码参考。

       **分区表的源码改进

**

       从PostgreSQL 版本开始，实现了一种声明式的源码点灯许愿源码分区方式，简化了分区操作。源码该特性使得用户可以直接使用声明式分区语法来定义数据分布，源码无需再依赖于表继承和手动触发器或规则。源码这大大简化了数据管理与维护的源码复杂性。

       **PostgreSQL 版本的源码功能增强

**

       在PostgreSQL 版本中，逻辑复制功能得到了显著增强。源码该功能实现了逻辑发布和订阅，源码使得两个数据库之间的源码水滴众筹 源码表数据同步变得更加简单和高效。同时，源码逻辑复制功能的引入减少了对额外程序或软件的依赖，提高了数据同步的可靠性和安全性。

       值得注意的是，尽管PostgreSQL自带的逻辑复制功能具有一定限制，中启乘数科技开发的商业版逻辑复制软件CMiner提供了更全面的支持，包括独立的流复制协议、无风险消耗主库资源、支持基于流复制的高可用方案等优势。

       **相关列上建组合直方图统计信息

**

       为提高查询效率，PostgreSQL 版本新增了在相关列上构建组合直方图统计信息的功能。这一改进使得查询计划中函数的估计值与实际结果更加一致，从而优化了复杂SQL语句的http 短信源码执行效率。

       **其它功能

**

       在PostgreSQL 版本中，hash索引的使用更加安全，同时，函数名和目录名称进行了更正，提高了代码的清晰度和一致性。同步复制功能也得到了增强，允许配置多个同步备库，提高了系统的容灾能力。

       **PostgreSQL 版本的新特性

**

       PostgreSQL 版本引入了即时编译功能，显著提高了SQL查询的执行速度。此外，通过增加新的系统角色和psql命令，增强了数据库的鱼刺多线程源码可管理和监控能力。同时，psql中新增了查询失败原因的五个变量，有助于更快地定位问题。

       **PostgreSQL 版本的新特性

**

       在PostgreSQL 版本中，VACUUM命令的增强功能显著提高了数据库管理效率。分区表智能join特性优化了查询性能，尤其是在处理大量数据时。索引的重复项处理改进了存储效率。聚合操作时使用哈希算法的改进和引入增量排序功能提高了查询性能。并行的vacuum功能则进一步提高了数据库维护的效率。

       **PostgreSQL 版本的新特性

**

       PostgreSQL 版本在继承前版本特性的同时，继续优化了智能join、索引处理、跑步轨迹app 源码聚合性能和数据管理功能。特别值得关注的是分区表的智能join算法改进、索引消除重复项的功能优化、聚合时使用磁盘存储溢出的hash表以及增量排序功能的引入。这些改进进一步提升了数据库的性能和管理效率。

       中启乘数科技提供的商业版软件CMiner在逻辑复制、高可用方案、索引管理和性能优化方面提供了额外的价值，为用户提供了更加全面和高效的数据库解决方案。

PostgreSQL可见性映射表(VM)和VACUUM操作

       PostgreSQL采用多版本并发控制（MVCC）实现事务并发。在更新或删除元组时不直接物理删除，而是标记为无效，待清理时通过VACUUM命令移除。VACUUM执行时需找到无效元组并清理，如直接遍历所有页，开销大。为优化此过程，PostgreSQL引入了可见性映射表（VM）。

       每个表文件在PostgreSQL中对应一个名为OID_vm的空闲空间映射表，每页通过位标识是否存在无效元组。VM位为1表示无无效元组，为0则有。设置VM时需加锁。在VACUUM操作时，若VM位为1，VACUUM将忽略对应页，提升效率。

       VACUUM有两种模式：快速清理和完全清理。快速清理仅使用VM文件，而完全清理则需扫描整个表文件，VM在此时帮助较小。VM文件的目的是为VACUUM加速，即便损坏也不影响数据，仅导致部分页面被忽略清理。

       每个VM文件页可用字节数为blcksz - SizeOfPageHeaderData，因此每个VM页能记录大约(size = (blcksz - SizeOfPageHeaderData) * 8)个表文件页的无效元组信息。这种设计有效减少了VACUUM执行时的开销，提高了数据库管理的效率。

postgresql autovacuum 进程CPU占用高，而且analyze进程一直在执行不结束

       在某些情况下，最好是把autovacuum关掉，因为postgresql.conf中，你看到autovacuum前面加了#号，但其实是默认设置为开启。而且这个vacuum是对所有的数据库进行vacuum，如果有那么一个数据库中table多，count也多，那就导致cpu超高，而且持续时间老长。

       想要结束这样的情况，就只有对经常使用的database进行vacuum，且设定自动的时间最好是数据库使用不多的时间段，比如半夜。

       在进行vacuum时，耗资源耗内存，有时候还会锁死，所以analyze想要的结果，当然耗时就增加。个人观点仅供参考

vacuumdb命令如何根据需要清理和优化PostgreSQL数据库的特定表或所有数据库？

       PostgreSQL数据库的维护和优化过程中，vacuumdb命令扮演着关键角色。这个命令不仅用于清理数据库，还能够优化内部统计信息，以提升查询性能。它本质上是SQL命令VACUUM的封装，但与直接在服务器上操作相比，vacuumdb提供了一种更便捷的工具。

       尽管新版本的PostgreSQL支持自动vacuum，但在处理大量数据I/O时，自动执行可能会变得缓慢。这时候，手动调用vacuumdb命令或者编写脚本进行清理就显得尤为重要。它提供了多种参数选项，以满足不同场景的需求。

       以下是vacuumdb命令的使用语法和示例：

语法格式：

       - vacuumdb [参数] [数据库名] -a 全部清理

       - vacuumdb -d 数据库名称 - 清理指定数据库

       - vacuumdb -e 显示查询命令

       - vacuumdb -f 完全清理

       - vacuumdb -F 冻结事务信息

       - vacuumdb -q 静默模式

       - vacuumdb -t 表名 - 清理指定表

       - vacuumdb -U 用户名 - 指定连接用户

       - vacuumdb -w 不提示口令

       - vacuumdb -W 强制提示口令

       - vacuumdb -h 主机名 - 数据库服务器地址

       - vacuumdb -p 端口号

       - vacuumdb -z 更新优化器信息

       - vacuumdb -v 输出详细信息

参考实例：

       - 清理所有数据库：[root@linuxcool ~]# su - postgres$?vacuumdb -a

       - 优化器清理和分析bigdb数据库：[root@linuxcool ~]# su - postgres$?vacuumdb -z bigdb

       - 清理table1表于数据库linuxcool：[root@linuxcool ~]# su - postgres$?vacuumdb -d linuxcool -t 'table1'

       通过这些实例，你可以直观地看到如何根据需要使用vacuumdb命令来管理和优化你的PostgreSQL数据库。