技术文库

全部免费、不需要注册。内容来自我们自己在做推理服务与自动化时踩过的坑。

GPU 与 CUDA

GPU 架构基础

SM、warp 与显存层次 —— 理解 GPU 为什么快、什么时候不快。

CUDA 基础

从第一个 kernel 到 grid/block 的划分思路。

性能优化 (整理中)

合并访问、共享内存、occupancy 的取舍。

性能分析 (整理中)

用 profiler 找到真正的瓶颈,而不是凭感觉优化。

模型推理与优化

推理与训练的差异

KV cache、批处理策略,以及为什么长上下文贵。

模型量化 (整理中)

INT8/INT4 的代价与收益,什么时候不该量化。

LLM 优化 (整理中)

KV cache、批处理、投机解码的工程取舍。

PyTorch 实践 (整理中)

训练与部署中常见的内存与性能问题。

系统与工程

C++ 基础 (整理中)

推理服务里真正会用到的那些 C++ 特性。

系统设计 (整理中)

高并发推理服务的排队、超时与降级。

项目实践 (整理中)

把知识变成可展示的项目。

面试准备 (整理中)

AI Infra 岗位常考什么。