Agentic inference

可以先理解为:Agent任务驱动的推理负载

普通推理像问模型一个问题;agentic inference 像让 agent 跑一段任务。它会查资料、调工具、来回推理,所以负载结构完全不一样。

关键结构图

当前相关远处弱强

中心节点写「Agentic inference」,周围连接 Agentic AI、Compute capacity、Inference-time data,用细线表示相邻路径和调用方向。

Agentic inference 是由 agent 执行任务引发的推理负载。它更关注多步任务、工具调用、状态管理和任务完成,而不是单轮问答的响应延迟。

当你需要理解模型之外还有哪些基础设施支撑 AI 能力时,可以用「Agentic inference」命名这块砖,再连接相邻概念继续判断。

Agentic inference 会把推理从“响应一次请求”推向“完成一段任务”。这会改变基础设施关注点:不仅要低延迟,还要长任务稳定性、工具调用、上下文状态、缓存、运行时数据和成本预算。

在拆解一个 AI 系统为什么能稳定运行时,你可以用「Agentic inference」标记其中最需要被看见的结构,再检查它提供了什么证据、边界或行动方向。

在整理「AI 基础设施」主题时,把「Agentic inference」和「Agentic AI」放在同一路径里,可以帮助读者从单点概念走向可复用的判断框架。

类型:系统结构 / 概念整理

事实线:这张卡把「Agentic inference」整理为概念提炼: Agentic inference 是由 agent 执行任务引发的推理负载。

依据:1000 Bricks 本地砖块库的概念定义、相邻砖块关系和AI 基础设施、系统架构和工具链讨论。

边界:适用于「AI 基础设施、算力、存储、运行时和工具系统」主题下的理解、复盘和设计判断;不等于行业统一标准或对所有场景都成立的结论。

常见误读:不要把它当作某篇材料的原文摘要,也不要因为概念名清晰就忽略具体情境和验证证据。