润百AI

标签：推理加速

共 4 篇

2026年9月23日0 条留言

推理引擎入门：vLLM 与 PagedAttention 是怎么把大模型吞吐提上去的

把大模型部署成服务时，"快不快、一次能服务多少人"往往比"能不能跑"更关键。除了模型本身，真正决定吞吐和成本的常常是推理引擎。本文以 vLLM 为例，讲清推理引擎要解决的核心问题，以及 PagedAttention 的思路。一、推理的两个阶段：Prefill 与 Decode大模型生成文本通常分两步：预填充（Prefill）：一次性读入整段提示，计算并缓存所有 token 的键值（KV）。这一步是

技术教程大语言模型推理加速

2026年9月22日0 条留言

Flash Attention 入门：注意力计算为什么"吃"显存，它又是怎么省下来的

大模型的"注意力"看起来只是一次矩阵乘法，实际却是训练和推理里最吃显存、最容易拖慢速度的环节。Flash Attention 通过改变计算的顺序，让同样的注意力结果在显存占用和速度上都明显改善。本文讲清它到底解决了什么问题。一、注意力为什么又慢又费显存标准注意力（Self-Attention）要先算出查询 Q 与键 K 的相似度矩阵，再对值 V 加权求和。假设序列长度为 N，这个中间矩阵的大小是

技术教程大语言模型推理加速

2026年9月20日0 条留言

投机解码（Speculative Decoding）入门：小模型打草稿、大模型拍板

大模型推理慢，很多时候慢在一个反直觉的地方：每生成一个 token，都要把整个模型完整跑一遍，而 GPU 的大量算力其实闲置在等待显存读写上。投机解码（Speculative Decoding）就是针对这个瓶颈提出的一类加速方法。它的核心思想一句话就能说清：让一个便宜的小模型先猜，再让大模型一次性验票。一、为什么逐字生成这么慢自回归生成是串行的：第 N 个 token 必须等第 N-1 个 tok

技术教程推理加速大语言模型推理优化

2026年6月9日0 条留言

AI芯片新格局：从训练到推理的架构变革

2026年，AI芯片市场正经历一场从"训练优先"到"推理为王"的深刻架构变革。随着大模型从实验室走向规模化部署，推理计算的需求正在以指数级增长，推动芯片设计范式发生根本性转变。过去五年，AI芯片的竞争焦点几乎完全集中在训练性能上。NVIDIA凭借CUDA生态和Hopper/Blackwell架构占据训练市场绝对主导地位，单卡算力从2022年的312 TFLOPS提升至2026年的超过2000 TF

技术 AI芯片推理加速大模型