博客
关于我
PostgreSQL unlogged table
阅读量:558 次
发布时间:2019-03-09

本文共 1134 字,大约阅读时间需要 3 分钟。

PostgreSQL 提供了 "unlogged table" 的概念,这种表类似于 Oracle 的 nologging 表选项,主要用于减少写入时的共享加速组件(WAL)的日志记录,从而提升写入性能。这种表在高频率或批量写入场景中非常有用。以下是对 unlogged table 的逐项分析以及与普通表的性能对比分析。

1. **unlogged table 的特点**

  • unlogged table 不记录 WAL 日志,写入速度更快,适合高频率的插入操作。
  • 当数据库 experience a crash 后,表数据将在恢复时自动清空。这意味着需要确保这种表在设计时有重建机制。
  • 正常关闭数据库后,unlogged table 的数据仍会保留,只是重启时会清空。
  • unlogged table 最常见的用途是处理中间结果或频繁更改的会话数据,这类数据不需要持久化保存。
  • 2. **性能对比分析**

  • **普通表与 unlogged table 的比较**
    • 普通表需要记录 WAL 日志,写入速度相对较慢,且在.Master和从库间同步时会产生额外负担。而 unlogged table 不需要记录日志,因此写入速度更快。
    • 如果使用同步事务(如 Oliviavári 提出的两阶段提交),普通表的性能会有更大的下降,而 unlogged table 则表现较为稳定。
  • **unlogged table 与普通表的对比**
    • 在大多数情况下,unlogged table 的插入速度至少不逊于普通表的无索引插入速度,甚至在批量写入时性能更优。动态 SQL 生成的硬解析问题可以通过批量操作来减轻。
    • 在使用类似 Oracle 的 nologging 选项时,unlogged table 的表现类似,且其在 PostgreSQL 中的实现更为灵活。
  • 3. **适用场景**

  • 对于需要快速写入的中间结果表或频繁变更的会话数据,使用 unlogged table 是最佳选择。
  • 此外,unlogged table 在批量导入数据时特别有用,因为它可以显著降低处理 lateness。
  • 4. **注意事项**

  • unlogged table 不记录 WAL 日志,写入速度更快,但数据在 database crash 后会自动清空,需要谨慎处理。
  • 建议在使用 unlogged table 时,加上手动的重建逻辑,以确保数据的持久化和一致性。
  • 综上所述,unlogged table 在吞吐量和性能方面优于普通表,尤其适合处理那些不需要持久化存储的高频率数据。购买扩展阅读:如果你需要更深入地理解 Postgres 的性能优化技巧,可以参考《PostgreSQL性能优化指南》。

    转载地址:http://aycpz.baihongyu.com/

    你可能感兴趣的文章
    NIFI分页获取Mysql数据_导入到Hbase中_并可通过phoenix客户端查询_含金量很高的一篇_搞了好久_实际操作05---大数据之Nifi工作笔记0045
    查看>>
    NIFI分页获取Postgresql数据到Hbase中_实际操作---大数据之Nifi工作笔记0049
    查看>>
    NIFI同步MySql数据_到SqlServer_错误_驱动程序无法通过使用安全套接字层(SSL)加密与SQL Server_Navicat连接SqlServer---大数据之Nifi工作笔记0047
    查看>>
    Nifi同步过程中报错create_time字段找不到_实际目标表和源表中没有这个字段---大数据之Nifi工作笔记0066
    查看>>
    NIFI大数据进阶_FlowFile拓扑_对FlowFile内容和属性的修改删除添加_介绍和描述_以及实际操作---大数据之Nifi工作笔记0023
    查看>>
    NIFI大数据进阶_FlowFile生成器_GenerateFlowFile处理器_ReplaceText处理器_处理器介绍_处理过程说明---大数据之Nifi工作笔记0019
    查看>>
    NIFI大数据进阶_Json内容转换为Hive支持的文本格式_操作方法说明_01_EvaluteJsonPath处理器---大数据之Nifi工作笔记0031
    查看>>
    NIFI大数据进阶_Kafka使用相关说明_实际操作Kafka消费者处理器_来消费kafka数据---大数据之Nifi工作笔记0037
    查看>>
    NIFI大数据进阶_Kafka使用相关说明_实际操作Kafka生产者---大数据之Nifi工作笔记0036
    查看>>
    NIFI大数据进阶_NIFI的模板和组的使用-介绍和实际操作_创建组_嵌套组_模板创建下载_导入---大数据之Nifi工作笔记0022
    查看>>
    NIFI大数据进阶_NIFI监控功能实际操作_Summary查看系统和处理器运行情况_viewDataProvenance查看_---大数据之Nifi工作笔记0026
    查看>>
    NIFI大数据进阶_NIFI监控的强大功能介绍_处理器面板_进程组面板_summary监控_data_provenance事件源---大数据之Nifi工作笔记0025
    查看>>
    NIFI大数据进阶_NIFI集群知识点_认识NIFI集群以及集群的组成部分---大数据之Nifi工作笔记0014
    查看>>
    NIFI大数据进阶_NIFI集群知识点_集群的断开_重连_退役_卸载_总结---大数据之Nifi工作笔记0018
    查看>>
    NIFI大数据进阶_内嵌ZK模式集群1_搭建过程说明---大数据之Nifi工作笔记0015
    查看>>
    NIFI大数据进阶_外部ZK模式集群1_实际操作搭建NIFI外部ZK模式集群---大数据之Nifi工作笔记0017
    查看>>
    NIFI大数据进阶_实时同步MySql的数据到Hive中去_可增量同步_实时监控MySql数据库变化_操作方法说明_01---大数据之Nifi工作笔记0033
    查看>>
    NIFI大数据进阶_离线同步MySql数据到HDFS_01_实际操作---大数据之Nifi工作笔记0029
    查看>>
    NIFI大数据进阶_离线同步MySql数据到HDFS_02_实际操作_splitjson处理器_puthdfs处理器_querydatabasetable处理器---大数据之Nifi工作笔记0030
    查看>>
    NIFI大数据进阶_离线同步MySql数据到HDFS_说明操作步骤---大数据之Nifi工作笔记0028
    查看>>