Ceph - 每个 NVMe 推荐安装1个还是2个 OSD？

       在讨论Ceph中每个NVMe上安装的OSD数量时，一个常见问题是源码如何配置。过去的源码建议是在每个闪存驱动器上部署2至4个OSD，特别是源码使用NVMe驱动器时，以实现显著的源码性能优势。然而，源码ugui源码赏析随着Ceph的源码演进，特别是源码Octopus和Pacific版本的发布，答案开始发生变化。源码社区对OSD和BlueStore代码的源码性能增强使得单个OSD在NVMe驱动器上的表现同样出色。

       测试结果表明，源码与每个NVMe 2个OSD相比，源码使用1个OSD在大多数情况下并未表现出一致性性能增益。源码尽管存在一些例外情况，源码显示轻微性能提升，源码但在CPU资源可用性、性能消耗和资源消耗等方面，html原始源码多个OSD配置并未带来明显优势。

       在集群设置中，5个节点托管OSD，5个节点作为客户端节点，所有节点通过GbE链路连接。在Ceph上使用CBT部署并启动FIO测试。对于操作系统优化，关键的thphp系统源码调整是将TuneD配置文件设置为“延迟性能”或“网络延迟”，以避免与CPU C/P状态转换相关的延迟峰值。

       在测试设置中，内存和内核数量考虑为每个NVMe驱动器的资源可用性。每个NVMe驱动器可轻松支持GB内存，并最多扩展至个CPU线程。为保持正确的内存比率，osd_memory_target在单个OSD/NVMe情况下设置为GB，在2个OSD/NVMe情况下设置为8GB。python 源码django通过numactl控制每个OSD的CPU线程数，将OSD分配至包含相同数量物理核心和HT核心的池中。

       测试结果显示，对于大型IO工作负载，每个NVMe设备上有多个OSD并未产生显著性能差异。对于读取操作，差异较小，但2个OSD配置显示出轻微优势。aqs框架源码然而，写入操作显示与单个OSD配置相比，吞吐量出现适度下降。对于4KB随机IOPS测试，2个OSD/NVMe配置并未展现出特别优势，除非每个NVMe驱动器拥有个或更多CPU线程。在某些情况下，每个NVMe运行2个OSD导致IOPS轻微影响。

       在测试中，每个NVMe配置的2个OSD比1个OSD使用更多的CPU资源。然而，每个NVMe配置的2个OSD表现出更高的CPU效率，尤其是在高CPU线程比率下。这可能会导致更高的功耗和热量产生。值得注意的是，测试结果中随机写入结果已将复制因子考虑在内，与去年发布的太平洋地区结果一致。

       在内存使用方面，与每个NVMe使用1个OSD相比，2个OSD配置的内存使用率增加相对较小，通常在3-6%之间。两种配置均未充分利用OSD可用的全部内存。

       结论是，当前Ceph版本中，每个NVMe配置运行2个OSD可能带来潜在优点，如尾部延迟改善，但可能伴随着CPU使用率的增加，这可能导致更高的功耗和热量产生。在现代Ceph版本中配置OSD时，应考虑硬件配置、性能特征以及其他可能影响性能的因素。测试自己的系统，以验证结果是否与本文所述相符，是了解最佳配置的最好方法。