OpenAI 如何将 Fluent Bit CPU 使用率降低 50%，释放 3 万核计算资源

---

OpenAI 每天处理超过 9 PB 的日志，对 AI 研究和推理生产至关重要。所有工作负载都运行在 Kubernetes 上，每个节点运行多个 DaemonSet：Fluent Bit、OpenTelemetry Collector、DataDog Agent 等。由于 OpenAI 快速增长，一些日志工作负载向不同存储发送了重复日志，OpenAI 技术人员 Fabian Ponce 称之为“DaemonSet 大杂烩”。

最繁忙的主机开始触发 Linux CFS 限速。日志 DaemonSet 被限速时，日志会丢失。对于 AI 研究来说，每条日志都可能包含重要信息，丢失不可接受。团队无法增加更多 CPU，基础设施已满负荷。

解决方案：用 perf 找根因

发现

Ponce 加入可观测性团队第一个月，使用 Linux 性能分析工具 perf 对 Fluent Bit 部署进行分析。

报告显示异常：CPU 使用时间大部分没用在字符串处理上，反而是 stat 系统调用耗费最多。问题出在 Fluent Bit 如何监控日志文件。默认用 Linux 的 inotify API 监测文件变化，但 inotify 事件不包含写入数据量，Fluent Bit 每次事件后立即调用 stat 获取文件大小，更新数据库，判断读取进度和可读数据量。

在 OpenAI 规模下，容器逐行刷新日志，引发系统调用风暴，成千上万次无意义的 stat 调用，线程高速占用 CPU。

实施

解决办法非常简单：完全关闭 inotify，改为基于 stat 的轮询，只需一行配置改动：inotify: false。Ponce 首次上线测试集群后，CPU 使用率立刻降低 50%。

团队随后在全集群推广此改动，针对频繁写日志的容器，stat 轮询频率最高达每秒一次。即使如此，系统调用次数也比 inotify 少几个数量级。

“我们让 Fluent Bit CPU 使用率降低 50%，为整个研究和应用基础设施释放了大量容量。这就是 CNCF 生态的力量，深刻理解工具，才能实现全局优化。” — Fabian Ponce，OpenAI 技术成员

由于 CPU 是 Kubernetes 节点共享资源，减少 Fluent Bit 资源占用提升了所有共址工作负载性能。这 3 万核资源重新投入 ChatGPT 推理和 AI 实验。

贡献回馈社区

关闭 inotify 解决了燃眉之急，但长远来看更好的方案是“节流” stat 调用。Ponce 说：“Fluent Bit 其实只需要个时间窗口，收到 inotify 事件后，安排在 500 毫秒内执行一次 stat。”这种防抖方式既保留了 inotify 的响应灵敏性，又避免系统调用爆炸。

Figma

Figma 是一款基于云端的 UI 设计工具，可以在线进行产品原型、设计、评审、交付等工作。

1371 查看详情

和 Fluent Bit 维护者沟通后，他们对该改进持开放态度。OpenAI 计划将此功能贡献到上游，让整个 CNCF 社区受益。

影响：基于 CNCF 打造的 PB 级日志平台 OLogs

OpenAI 的优化支持了 OLogs 平台，内部日志日处理量超 9 PB，完全基于 CNCF 项目：

• Kubernetes 负责编排，保证可扩展性和可靠性。
• Fluent Bit 聚合日志，添加 Kubernetes 元数据，根据动态配置抽样，转换成 OLogs 格式。
• Envoy 负责路由存储，未来分片时关键角色。
• OpenTelemetry 标准化可观测性堆栈。

平台提供 OLogs 查询语言（OQL）快速检索，复杂分析支持完整 SQL。团队还在开发“宽事件”存储高基数数据，传统时序数据库难以承载。

关键成果

• Fluent Bit CPU 使用率全集群降低 50%
• 释放 3 万核 CPU 资源用于 AI 工作负载
• 日处理日志超 9 PB，性能无下降
• 过载主机 Linux CFS 限速事件大幅减少
• 消除因限速导致的主要日志丢失，恢复管道稳定性
• 降低资源争用，提升节点整体性能
• 计划贡献改进给 CNCF 社区

总结与展望

“如果有系统 root 权限，15 分钟就能跑 perf。” Ponce 强调。这次优化不需要 PB 级规模，只要日志量与持续刷写的行为合适，就能带来显著收益。

极端规模才暴露的问题，解决后能提升整个社区的工具质量。

“云时代带来了更多分布式系统思维，有助于可靠性和扩展，但硬件层面的优化知识不可替代。”

— Fabian Ponce，OpenAI 技术成员

OpenAI 正在减少第三方可观测性成本，将更多能力内建于 CNCF 堆栈。团队从 7-8 人扩大到 16 人，成为基于 CNCF 的数据基础设施团队。

源码地址：点击下载

以上就是OpenAI 如何将 Fluent Bit CPU 使用率降低 50%，释放 3 万核计算资源的详细内容，更多请关注其它相关文章！

# 开源  # 外贸网站免费推广蓝颜SEO.好  # 铜陵seo优化公司排名  # 虹口租房网站建设  # 宜昌有seo推广网站吗  # 优化网站排名专攻云速捷  # 渭南网站建设正规公司  # 怎样学好网站优化  # 免费建网站网站建设  # 做好网站怎样推广赚钱  # 佛山杨和网站建设  # 首次  # 还在  # 几个  # 灵敏性  # linux  # 之父  # 重启  # 就能  # 基础设施  # 如何将  # kubernetes  # gpt  # openai  # 路由  # chatgpt  # ai  # 栈  # 工具 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 机构研选 | 虚拟电厂是电力物联网升级版 智能电网望迎来高速发展  史玉柱谈AI：国内最缺是计算数学人才，曾给浙大数学系捐五千万  最大助力35公斤 外骨骼机器人或在养老、医疗领域“大展身手”  OpenAI首席执行官引用《道德经》 呼吁就AI安全问题合作  自然语言生成在智能家居设备中的应用  马斯克回应“人工智能让一切变得更好”：我们已经是半机器人了  微软 Azure AI 文本转语音服务升级：新增男性声音和扩展语言支持  烟台大学学生首次在全国大学生无人机航拍竞赛中获奖  丰田汽车研究院推出生成式人工智能汽车设计工具  华为云发布华为云盘古模型3.0和升腾AI云服务，亮点亮相2025华为开发者大会  AI生成新闻网站数量激增，正在疯狂赚取广告收入  深剖Apple Vision Pro中暗藏的“AI”  微软bing聊天推出AI购物工具 可进行比价并查看历史最低价  航拍无人机怎么选？大疆无人机盘点推荐  微软 Copilot 团队主管呼吁用户与 AI 交流时应使用恰当的礼貌用语  中科院自研新一代 AI 大模型“紫东太初 2.0”问世  如何用户外电源给无人机实现持久续航  中国最强AI研究院的大模型为何迟到了  成功孵化首个大型模型解决方案的重庆人工智能创新中心  Meta Connect 2025已确定时间为9月27-28，主题涵盖Quest 3与AI技术  羚客系统即将升级，推出全新的AI数字化工具  磐镭发布全新 GeForce RTX 4080 ARMOUR 显卡，售价为 9499 元  美图开拍使用教程  苹果AIGC专利：可通过语音指令生成AR/VR虚拟场景  挤爆服务器，北大法律大模型ChatLaw火了：直接告诉你张三怎么判  AI技术加速迭代：周鸿祎视角下的大模型战略  探索AI前沿理念 2025全球人工智能技术大会在杭州开幕  朝鲜出现国产大型察打一体无人机，实力世界第二，太意外了  AI进军债券交易，BondGPT来了！  搭载星火认知大模型 讯飞听见智慧屏开启AI办公新体验  「模仿学习」只会套话？解释微调+130亿参数Orca：推理能力打平ChatGPT  人工智能即将进入Windows：企业准备好安全策略设置了吗?  Bing 聊天机器人现支持在桌面端用语音提问  优地网络助力新媒体拥抱人工智能时代  【机智云物联网低功耗转接板】远程环境数据采集探索  管提需求，大模型解决问题：图表处理神器SheetCopilot上线  麦肯锡：到 2045 年左右，将有 50% 工作被 AI 接管  华为AI大模型将融入HarmonyOS 4  云深处与昇腾CANN携手合作：开设ROS四足机器狗开发训练营  统信深度deepin成立 AI SIG 社区，共同提升 Linux 下 AI 体验  谷歌新安卓机器人logo曝光：头更大了  常见的五个人工智能误解  加强高质量数据供应能力，促进通用人工智能大模型领域的创新  明略科技发布免费开源TensorBoard.cpp，促进大型模型的预训练工作  掌阅科技申请阅爱聊商标 掌阅科技申请AI相关商标  消息称字节机器人团队已有约50人，计划年底扩充到上百人  本届人工智能大会上的这个“镇馆之宝”，来自长宁企业西井科技！  2025“春晖杯”人工智能专场对接活动举办  无人机协助盐城交通执法的协同训练  如何用AI开创智慧能源新时代？固德威正让能源“通人性”！ 

 2025-11-19