1.PostgreSQL · 源码分析 · 回放分析（一）
2.EasyLogger源码学习笔记（5）
3.Kafka Logcleaner源码分析
4.如何从零写一个日志库（glog介绍）
5.日志代码怎么查看啊
6.Nginx日志系统源码分析

PostgreSQL · 源码分析 · 回放分析（一）

       在数据库运行中，可能遇到非预期问题，管理管理如断电、源码源码崩溃。日志日志这些情况可能导致数据异常或丢失，管理管理影响业务。源码源码捕鱼php源码为了在数据库重启时恢复到崩溃前状态，日志日志确保数据一致性和完整性，管理管理我们引入了WAL（Write-Ahead Logging）机制。源码源码WAL记录数据库事务执行过程，日志日志当数据库崩溃时，管理管理利用这些记录恢复至崩溃前状态。源码源码

       WAL通过REDO和UNDO日志实现崩溃恢复。日志日志REDO允许对数据进行修改，管理管理UNDO则撤销修改。源码源码REDO/UNDO日志结合了这两种功能。除了WAL，还有Shadow Pagging、WBL等技术，但WAL是主要方法。

       数据库内部，日志管理器记录事务操作，缓冲区管理器负责数据存储。当崩溃发生，恢复管理器读取事务状态，回放已提交数据，回滚中断事务，恢复数据库一致性。联手代刷源码ARIES算法是日志记录和恢复处理的重要方法。

       长时间运行后崩溃，可能需要数小时甚至数天进行恢复。检查点技术在此帮助，将脏数据刷入磁盘，记录检查点位置，确保恢复从相对较新状态开始，同时清理旧日志文件。WAL不仅用于崩溃恢复，还支持复制、主备同步、时间点还原等功能。

       在记录日志时，WAL只在缓冲区中记录，直到事务提交时等待磁盘写入。LSN（日志序列号）用于管理，只在共享缓冲区中检查。XLog是事务日志，WAL是持久化日志。

       崩溃恢复中，checkpointer持续做检查点，加快数据页面更新，提高重启恢复速度。在回放时，数据页面不断向前更新，直至达到特定LSN。

       了解WAL格式和包含信息有助于理解日志内容。仙剑后传lava源码PG社区正在实现Zheap特性，改进日志格式。WAL文件存储在pg_wal目录下，大小为1GB，与时间线和LSN紧密关联。事务日志与WAL段文件相关联，根据特定LSN可识别文件名和位置。

       使用pg_waldump工具可以查看日志内容，理解一次操作记录。日志类型包括Standby、Heap、Transaction等，对应不同资源管理器。PostgreSQL 包含种资源管理器类型，涉及堆元组、索引、序列号操作。

       标准记录流程包括：读取数据页面到frame、记录WAL、进行事务提交。插入数据流程生成WAL，复杂修改如索引分裂需要记录多个WAL。

       崩溃恢复流程从控制文件中获取检查点位置，严格串行回放至崩溃前状态。redo回放流程与记录代码高度一致。在部分写问题上，FullPageWrite（FPW）策略记录完整数据页面，环卫小程序源码防止损坏。WAL错误导致部分丢失不影响恢复，数据库会告知失败。磁盘静默错误和内存错误需通过冗余校验解决。

       本文总结了数据库崩溃恢复原理，以及PostgreSQL日志记录和崩溃恢复实现。深入理解原理可提高数据库管理效率。下文将详细描述热备恢复和按时间点还原（PITR）方法。

EasyLogger源码学习笔记（5）

       在EasyLogger源码的学习中，我们了解到日志对象使用了互斥锁以确保同一时刻只有一个线程能进行操作，保证了日志管理的安全性与高效性。

       对于异步输出，EasyLogger通过信号量实现了优化。当需要等待执行时，某个线程会被阻塞，以减少CPU的占用。这一特性允许用户单独设置异步输出的日志等级，提高系统的灵活性与可控性。

       在文件输出时，使用了信号量集合，其中仅包含一个信号量。这一设计确保了同时只有一个线程能向文件中写入日志，避免了多线程并发写入导致的文件混乱。

       日志输出的多样选择体现了EasyLogger的灵活性，无论是输出到文件还是串口，都可以根据需要配置是否采用异步输出，以适应不同的甜心100源码java应用场景与性能需求。

       此外，sem_post函数用于解锁由semby指定的信号量，执行对特定信号量的解锁操作。而semop函数则用于执行一组预先定义的信号量操作，适用于对多个信号量进行原子性操作。

       在信号量集合仅包含一个信号量的情况下，使用sem_post函数进行操作可能直接替代使用semop函数。这一设计简化了信号量管理，提高了代码的可读性和效率。

Kafka Logcleaner源码分析

       Kafka日志保留策略包括按时间/大小和compact两种。Logcleaner遵循compact策略清理日志，只保留最新的消息，当多个消息具有相同key时，只保留最新的一个。

       每个日志由两部分组成：clean和dirty。dirty部分可以进一步划分为cleanable和uncleanable。uncleanable部分不允许清理，包括活跃段和未达到compact延迟时间的段。

       清理过程由后台线程定期执行，选择最脏的日志进行清理，脏度由dirty部分字节数与总字节数的比例决定。清理前，Logcleaner构建一个key->last_offset映射，包含dirty部分的所有消息。清理后，日志文件过滤掉过期消息，并合并较小的连续段为较大文件。

       payload为null的消息被Logcleaner删除，这类消息在topic配置的时间内保留，然后被清理。清理过程需与幂等性和事务性生产者兼容，保留活跃生产者最后一批消息，直到产生新消息或生产者不活跃。只清理提交或终止事物中的消息，未提交事物中的消息不清理。

       Logcleaner通过cleanOrSleep方法启动清理，选择最脏日志，调用clean清理并合并段。在清理前计算tombstone的移除时间，确保在clean部分驻留一定时间后移除。清理过程包括构建offset映射，分组段文件并清理合并。

       Logcleaner的清理逻辑确保了高效和一致的日志管理，助力Kafka系统稳定运行。

如何从零写一个日志库（glog介绍）

       探索日志管理的艺术，本文将深入解析glog——谷歌开源的日志库，为你揭示从零开始构建自定义日志解决方案的关键要素。让我们一起从基本需求到高级接口，一窥其内部工作原理。

基本需求与核心组件

       glog的核心在于LogMessage类，它负责记录日志的时间、位置信息以及根据过滤条件进行输出。0.3.5版本作为起点，提供了诸如LOG、LOG_IF和LOG_TO_SINK等接口，让你能灵活定制输出到默认目标或自定义sink。

       获取glog的源代码：/google/glog.git，源码中的src/glog/http://logging.h.in是你探索之旅的起点。

关键接口详解

       LOG(severity)：这是基础接口，将日志发送到默认输出，如LOG_ERROR = LogMessage(FILE, LINE, GLOG_ERROR)。

       LOG_IF(severity, condition)：条件式过滤，如LOG_IF(severity, !condition) & LOG(severity)，只在满足条件时记录。

       LOG_TO_SINK(sink, severity)：直接将日志导向自定义sink，同时不遗漏默认输出。

宏定义的艺术

       通过VLOG、LOG_TO_STRING和SYSLOG_IF等宏，你可以根据需求进行灵活的抽样和条件输出。例如，VLOG_IF(INFO, condition)在满足条件时增加日志的可见性，VLOG_EVERY_N则进行抽样记录。

深入日志流程

       glog的过滤机制依赖于LOG_IF，它根据FLAGS_minloglevel调整记录行为，避免不必要的CPU开销。LogMessage的构造和析构处理日志记录，而Stream函数确保与输出操作的兼容性。

       在使用时，如LOG(INFO) << "log test"，实际上会先检查条件，然后输出，返回值为void以保持与"<<"操作符的配合。

高级定制与性能优化

       LogMessageData结构体提供了字节的流式输出能力，通过LogDestination和Logger接口，实现灵活的日志目标管理，如支持异步写入的MyAppLogSink。

       尽管glog提供了强大的基础，但其在多线程写入和日志文件类型上的限制需要通过sink接口进行扩展，以适应复杂环境下的日志需求。

后续章节预告

       接下来的文章将深入讨论FATAL日志和coredump的生成过程，带你了解glog在故障诊断中的关键作用。

       总之，glog不仅是一个强大的日志库，更是日志管理策略的灵活载体。掌握它，为你的项目增添强大的故障排查能力。敬请期待《深入解析glog的FATAL与coredump》。

日志代码怎么查看啊

       要查看日志代码，无论是别人的还是自己的，步骤各有不同。

       对于查看别人的日志代码，你只需在当前页面上右击鼠标，选择“查看源代码”选项，页面会显示包含代码的文本区域，这样你就能查看到日志代码的具体内容了。

       而如果你想查看自己的日志代码，操作则相对简单一些。只需打开文章编辑界面，找到并勾选“显示源代码”的选项，页面同样会展示代码区域，帮助你了解日志代码的编写。

       以上就是查看日志代码的基本方法，无论是查看别人的还是自己的日志，都可通过上述步骤轻松实现。

Nginx日志系统源码分析

       在我眼中，日志系统的工作流程是这样的：当发生异常时，系统会将异常信息写入日志文件，随后程序退出。

       Nginx的日志系统采用专门的日志数据结构，并且它将文件描述与错误日志进行分类。在初始化等级数组时，会设置日志文件的配置项，将错误信息格式化。错误码err会被转换成对应的错误描述，然后将异常信息首先输入到缓冲区。

       接下来，系统会打开或新建日志文件，并将其插入日志链表。随后，将缓冲区的内容刷入磁盘，并将信息输出到控制台。在这个过程中，Nginx使用了相关的错误宏定义来处理错误字符串。

       此外，Nginx会根据不同的方法来获取错误信息，并将其复制到指定的缓冲区中。

easylogging源码学习笔记（6）

       `LOG` 是默认日志、CLOG自定义日志、LOG_IF条件日志

       特殊日志

       LOG_EVERY_N、LOG_AFTER_N、LOG_N_TIMES

       for (int i = 1; i <= ; ++i) {

       LOG_EVERY_N(2, INFO) << "Logged every second iter";

       }// 5 logs written; 2, 4, 6, 7,

       for (int i = 1; i <= ; ++i) {

       LOG_AFTER_N(2, INFO) << "Log after 2 hits; " << i;

       }// 8 logs written; 3, 4, 5, 6, 7, 8, 9,

       for (int i = 1; i <= ; ++i) {

       LOG_N_TIMES(3, INFO) << "Log only 3 times; " << i;

       }// 3 logs writter; 1, 2, 3

       条件日志和特殊日志可以搭配使用

       * `VLOG_IF(condition, verbose-level)`

       * `CVLOG_IF(condition, verbose-level, loggerID)`

       * `VLOG_EVERY_N(n, verbose-level)`

       * `CVLOG_EVERY_N(n, verbose-level, loggerID)`

       * `VLOG_AFTER_N(n, verbose-level)`

       * `CVLOG_AFTER_N(n, verbose-level, loggerID)`

       * `VLOG_N_TIMES(n, verbose-level)`

       * `CVLOG_N_TIMES(n, verbose-level, loggerID)`

       日志详细等级判定

       if (VLOG_IS_ON(2)) {

       // Verbosity level 2 is on for this file

       }

       性能追踪

       * `TIMED_FUNC(obj-name)`

       * `TIMED_SCOPE(obj-name, block-name)`

       * `TIMED_BLOCK(obj-name, block-name)`

       这些宏实际上都是关于el::base::type::PerformanceTrackerPtr，一个指向el::base::PerformanceTracker的指针

       #if defined(ELPP_FEATURE_ALL) || defined(ELPP_FEATURE_PERFORMANCE_TRACKING)

       PerformanceTracker::PerformanceTracker(const std::string& blockName,

       base::TimestampUnit timestampUnit,

       const std::string& loggerId,

       bool scopedLog, Level level) :

       m_blockName(blockName), m_timestampUnit(timestampUnit), m_loggerId(loggerId), m_scopedLog(scopedLog),

       m_level(level), m_hasChecked(false), m_lastCheckpointId(std::string()), m_enabled(false) {

       #if !defined(ELPP_DISABLE_PERFORMANCE_TRACKING) && ELPP_LOGGING_ENABLED

       // We store it locally so that if user happen to change configuration by the end of scope

       // or before calling checkpoint, we still depend on state of configuration at time of construction

       el::Logger* loggerPtr = ELPP->registeredLoggers()->get(loggerId, false);

       m_enabled = loggerPtr != nullptr && loggerPtr->m_typedConfigurations->performanceTracking(m_level);

       if (m_enabled) {

       base::utils::DateTime::gettimeofday(&m_startTime);

       }

       #endif // !defined(ELPP_DISABLE_PERFORMANCE_TRACKING) && ELPP_LOGGING_ENABLED

       }

       在构造函数中获取一个时间，

       PerformanceTracker::~PerformanceTracker(void) {

       #if !defined(ELPP_DISABLE_PERFORMANCE_TRACKING) && ELPP_LOGGING_ENABLED

       if (m_enabled) {

       base::threading::ScopedLock scopedLock(lock());

       if (m_scopedLog) {

       base::utils::DateTime::gettimeofday(&m_endTime);

       base::type::string_t formattedTime = getFormattedTimeTaken();

       PerformanceTrackingData data(PerformanceTrackingData::DataType::Complete);

       data.init(this);

       data.m_formattedTimeTaken = formattedTime;

       PerformanceTrackingCallback* callback = nullptr;

       for (const std::pair& h

       : ELPP->m_performanceTrackingCallbacks) {

       callback = h.second.get();

       if (callback != nullptr && callback->enabled()) {

       callback->handle(&data);

       }

       }

       }

       }

       #endif // !defined(ELPP_DISABLE_PERFORMANCE_TRACKING)

       }

       在析构函数中获取一个时间，处理时间data，使用PerformanceTrackingCallback类型指针callback，并在callback->handle(&data)中处理输出。

       由于定义了ELPP_FEATURE_PERFORMANCE_TRACKING，因此在初始化（INITIALIZE_EASYLOGGINGPP）中实际上是安装了一个base::DefaultPerformanceTrackingCallback。

       在PerformanceTracker类的handle函数中，callback是一个PerformanceTrackingCallback类型指针，由于安装的是DefaultPerformanceTrackingCallback对象，因此是一个基类指针指向了派生类对象。处理输出的逻辑在DefaultPerformanceTrackingCallback类的handle函数中。

       DefaultPerformanceTrackingCallback类的handle函数首先会将数据成员m_data的指针赋值给函数参数，并创建一个base::type::stringstream_t类型的对象ss用于构建输出内容。根据m_data的dataType，输出不同的信息。在输出时，会使用el::base::Writer类构造并输出内容。