LLM 推理工程：从首个 Token 到整套服务

一个面向工程师的中文 LLM 推理系统知识库。项目阅读了 Amit Shekhar /
Outcome School 索引的 19 篇公开文章，按照一次请求经过的真实路径重新组织知识：

指标 → 自回归 → Prefill / Decode → KV Cache → Attention → 调度 → 运行时 → 模型 → 硬件 → 验证

在线阅读

• 阅读网站：https://yizhiyanhua-ai.github.io/llm-inference-engineering-zh/
• 中文 PDF：
  LLM_Inference_Engineering_中文知识重构.pdf
• Markdown 正文：content/guide.md
• 完整来源：content/sources.md

这份项目解决什么

• 用 TTFT、TPOT、ITL、吞吐、Goodput、显存和成本组成一份性能账单。
• 解释 KV Cache、GQA、FlashAttention、PagedAttention 各自在缩减什么。
• 把 Continuous Batching、Chunked Prefill、Prefill/Decode 分离和
  Speculative Decoding 放回正确的系统层。
• 区分 vLLM、SGLang、GGUF、MoE、SLM、Distillation 与 Routing 的作用边界。
• 用 Roofline、单变量 Canary 和症状决策树结束“优化抽奖”。

本文是独立中文主题重构，不逐篇复制或翻译外部文章，也不代表原作者或 Outcome
School 的官方中文版。

阅读网站

网站采用 React、TypeScript 与 Vite，部署在 GitHub Pages 项目子路径。

• 桌面：章节目录、正文、阅读进度和周更状态三栏布局。
• 移动：正文单栏，目录和进度进入底部抽屉。
• 支持章节搜索、深浅主题、阅读进度、PDF 下载和来源定位。
• 所有正文与控件都由 HTML 渲染；图表使用本项目原创 SVG/PNG。

npm ci
npm run dev

生产验收：

npm test
npm run validate:content
npm run build
npm run validate:dist

每周官方资料发现

每周一 09:00（Asia/Shanghai）运行 GitHub Actions，从允许清单中的官方
RSS/Atom 与项目 Release 获取元数据。发现阶段不保存网页全文。

候选按 0–100 分评估：

• 官方性
• 推理主题相关性
• 技术增量
• 实验与指标证据
• 对成本、延迟、容量或部署的影响
• 新鲜度与原创性

只有达到 72 分的候选会进入本周 Issue。更新链路采用 fail-closed：

1. 定时任务创建候选 Issue 并指派给配置的确认人，网站和正文保持不变。
2. Brad 打开原文，逐项勾选，并添加 approved-for-update 标签。
3. 独立工作流验证操作者权限、候选哈希、允许来源、链接和构建。
4. 全部门通过后写入 src/data/updates.json 并重新部署 Pages。
5. 没有明确批准、候选变化或任一验证失败，本周零更新。

仓库管理员需配置两项 Actions 参数：

• Repository variable APPROVER_LOGIN：允许确认候选的 GitHub 登录名。
• Repository secret CANDIDATE_SIGNING_KEY：至少 32 字节的随机值，用于给候选清单
  签名；候选区可见标题、链接、摘要、来源、隐藏字段或清单顺序被修改后，应用流程
  会拒绝写入，只有复选框状态允许变化。

来源配置见 config/official-sources.json，评分规则见
config/importance-policy.json。

本地执行发现：

npm run discover -- --lookback-days 10

该命令只在 artifacts/ 生成候选 manifest 和 Issue 草稿，不修改正式内容。

项目结构

content/                    中文综合稿与公开来源账本
public/assets/diagrams/     原创推理工程图
public/downloads/           已验收的中文 PDF
src/                        阅读网站
config/                     官方来源允许清单与评分规则
scripts/                    发现、批准应用和内容校验
.github/workflows/          CI、Pages、周度发现与确认后更新

权利与许可

• 站点代码：MIT，见 LICENSE。
• 独立中文综合稿、原创图和站点文案：CC BY-SA 4.0，见
  LICENSE-CONTENT.md。
• 外部网页、论文、商标和项目名称不包含在本项目许可中。
• 完整边界见 NOTICE.md。

贡献

欢迎提交勘误、复现实验、官方资料和无障碍改进。请先阅读
CONTRIBUTING.md。