1.Kafka Logcleaner源码分析
2.QT中实现log存储的四种方法
3.easylogging源码学习笔记(6)
4.常见log日志的使用方法详细解析
Kafka Logcleaner源码分析
Kafka日志保留策略包括按时间/大小和compact两种。Logcleaner遵循compact策略清理日志,只保留最新的消息,当多个消息具有相同key时,只保留最新的一个。
每个日志由两部分组成:clean和dirty。语音叫号源码dirty部分可以进一步划分为cleanable和uncleanable。uncleanable部分不允许清理,包括活跃段和未达到compact延迟时间的段。
清理过程由后台线程定期执行,选择最脏的日志进行清理,脏度由dirty部分字节数与总字节数的比例决定。清理前,Logcleaner构建一个key->last_offset映射,包含dirty部分的视觉分析源码所有消息。清理后,日志文件过滤掉过期消息,并合并较小的连续段为较大文件。
payload为null的消息被Logcleaner删除,这类消息在topic配置的时间内保留,然后被清理。清理过程需与幂等性和事务性生产者兼容,保留活跃生产者最后一批消息,直到产生新消息或生产者不活跃。只清理提交或终止事物中的消息,未提交事物中的消息不清理。
Logcleaner通过cleanOrSleep方法启动清理,选择最脏日志,调用clean清理并合并段。源码燕窝厂家在清理前计算tombstone的移除时间,确保在clean部分驻留一定时间后移除。清理过程包括构建offset映射,分组段文件并清理合并。
Logcleaner的清理逻辑确保了高效和一致的日志管理,助力Kafka系统稳定运行。
QT中实现log存储的四种方法
在QT开发中,日志管理是程序监控和调试的重要手段。本文将介绍在QT中实现日志存储的四种方法,帮助你根据项目需求选择合适的方式。
首先,日志重定向输出是一个便捷的解决方案,它通过封装的类实现,如gitcode.com/feiyangqing...,netty包源码Qt的qInstallMsgHandler或qInstallMessageHandler提供了强大的支持。这种方式可以将调试信息重定向到文件、数据库,甚至网络,适用于嵌入式Linux环境。使用教程和详细功能可在gitee.com/feiyangqingyu...找到。
其次,log4qt作为log4j的Qt移植版本,如sourceforge.net/project...,虽然功能强大但可能需要自定义配置。log4qt提供了强大的日志功能,但可能需要对源码进行一定程度的修改。
QsLog是一个轻量级的日志库,github.com/victronenerg...,表单 程序源码它的特点包括多种日志级别、运行时可配置、低开销和多目标支持。直接集成在项目中,非常适合简洁项目。
最后,qclog是一个高效、易用的日志库,gitee.com/umatobu/qclog,它提供了彩色日志输出,是追求美观和快速开发者的理想选择。
综上,对于简单需求,日志重定向输出和QsLog是不错的选择;log4qt适合需要更多定制功能的开发者;而对于寻求高效和美观的日志显示,qclog是个值得尝试的选项。具体选择还需根据项目的具体需求来定。
easylogging源码学习笔记(6)
`LOG` 是默认日志、CLOG自定义日志、LOG_IF条件日志
特殊日志
LOG_EVERY_N、LOG_AFTER_N、LOG_N_TIMES
for (int i = 1; i <= ; ++i) {
LOG_EVERY_N(2, INFO) << "Logged every second iter";
}// 5 logs written; 2, 4, 6, 7,
for (int i = 1; i <= ; ++i) {
LOG_AFTER_N(2, INFO) << "Log after 2 hits; " << i;
}// 8 logs written; 3, 4, 5, 6, 7, 8, 9,
for (int i = 1; i <= ; ++i) {
LOG_N_TIMES(3, INFO) << "Log only 3 times; " << i;
}// 3 logs writter; 1, 2, 3
条件日志和特殊日志可以搭配使用
* `VLOG_IF(condition, verbose-level)`
* `CVLOG_IF(condition, verbose-level, loggerID)`
* `VLOG_EVERY_N(n, verbose-level)`
* `CVLOG_EVERY_N(n, verbose-level, loggerID)`
* `VLOG_AFTER_N(n, verbose-level)`
* `CVLOG_AFTER_N(n, verbose-level, loggerID)`
* `VLOG_N_TIMES(n, verbose-level)`
* `CVLOG_N_TIMES(n, verbose-level, loggerID)`
日志详细等级判定
if (VLOG_IS_ON(2)) {
// Verbosity level 2 is on for this file
}
性能追踪
* `TIMED_FUNC(obj-name)`
* `TIMED_SCOPE(obj-name, block-name)`
* `TIMED_BLOCK(obj-name, block-name)`
这些宏实际上都是关于el::base::type::PerformanceTrackerPtr,一个指向el::base::PerformanceTracker的指针
#if defined(ELPP_FEATURE_ALL) || defined(ELPP_FEATURE_PERFORMANCE_TRACKING)
PerformanceTracker::PerformanceTracker(const std::string& blockName,
base::TimestampUnit timestampUnit,
const std::string& loggerId,
bool scopedLog, Level level) :
m_blockName(blockName), m_timestampUnit(timestampUnit), m_loggerId(loggerId), m_scopedLog(scopedLog),
m_level(level), m_hasChecked(false), m_lastCheckpointId(std::string()), m_enabled(false) {
#if !defined(ELPP_DISABLE_PERFORMANCE_TRACKING) && ELPP_LOGGING_ENABLED
// We store it locally so that if user happen to change configuration by the end of scope
// or before calling checkpoint, we still depend on state of configuration at time of construction
el::Logger* loggerPtr = ELPP->registeredLoggers()->get(loggerId, false);
m_enabled = loggerPtr != nullptr && loggerPtr->m_typedConfigurations->performanceTracking(m_level);
if (m_enabled) {
base::utils::DateTime::gettimeofday(&m_startTime);
}
#endif // !defined(ELPP_DISABLE_PERFORMANCE_TRACKING) && ELPP_LOGGING_ENABLED
}
在构造函数中获取一个时间,
PerformanceTracker::~PerformanceTracker(void) {
#if !defined(ELPP_DISABLE_PERFORMANCE_TRACKING) && ELPP_LOGGING_ENABLED
if (m_enabled) {
base::threading::ScopedLock scopedLock(lock());
if (m_scopedLog) {
base::utils::DateTime::gettimeofday(&m_endTime);
base::type::string_t formattedTime = getFormattedTimeTaken();
PerformanceTrackingData data(PerformanceTrackingData::DataType::Complete);
data.init(this);
data.m_formattedTimeTaken = formattedTime;
PerformanceTrackingCallback* callback = nullptr;
for (const std::pair& h
: ELPP->m_performanceTrackingCallbacks) {
callback = h.second.get();
if (callback != nullptr && callback->enabled()) {
callback->handle(&data);
}
}
}
}
#endif // !defined(ELPP_DISABLE_PERFORMANCE_TRACKING)
}
在析构函数中获取一个时间,处理时间data,使用PerformanceTrackingCallback类型指针callback,并在callback->handle(&data)中处理输出。
由于定义了ELPP_FEATURE_PERFORMANCE_TRACKING,因此在初始化(INITIALIZE_EASYLOGGINGPP)中实际上是安装了一个base::DefaultPerformanceTrackingCallback。
在PerformanceTracker类的handle函数中,callback是一个PerformanceTrackingCallback类型指针,由于安装的是DefaultPerformanceTrackingCallback对象,因此是一个基类指针指向了派生类对象。处理输出的逻辑在DefaultPerformanceTrackingCallback类的handle函数中。
DefaultPerformanceTrackingCallback类的handle函数首先会将数据成员m_data的指针赋值给函数参数,并创建一个base::type::stringstream_t类型的对象ss用于构建输出内容。根据m_data的dataType,输出不同的信息。在输出时,会使用el::base::Writer类构造并输出内容。
常见log日志的使用方法详细解析
日志在程序开发中起着至关重要的作用,它能帮助我们调试错误并记录关键信息。常见的日志框架包括Java自带的原生日志、log4j以及Slf4j等。
日志级别是控制输出信息的关键,通常分为:OFF、FATAL、ERROR、WARN、INFO、DEBUG、TRACE和ALL,级别越高,信息越详细。Java.util.Logger,如在源代码中使用`Logger`,可以通过设置级别来调整输出,例如,`logger.setLevel(Level.ALL)`会显示所有级别的信息,而`logger.setLevel(Level.WARNING)`则只会显示严重和警告级别的信息。
log4j则通常在XML配置文件中配置,比如导入依赖和配置``元素。通过这种方式,可以精细地控制每个日志条目的格式和输出位置。log4j2的配置文件如`log4j2.xml`,提供了丰富的自定义选项。
Slf4j作为当前主流的日志框架,支持参数化输出,只需在类头引入`import org.slf4j.Logger`和`LoggerFactory.getLogger`,并在代码中调用相关方法。在引入依赖时,可能出现`SLF4J: Failed to load class`的问题,解决方法通常是检查类路径和slf4j的绑定。Slf4j的输出信息中包含类路径信息,便于追踪问题来源。
总结来说,log日志的使用方法因框架而异,但核心在于控制输出级别和配置细节,以满足不同开发阶段的需求。通过灵活运用这些工具,可以提高程序的可维护性和可读性。