知识卡片：无问芯穹开源 APXInf，端侧推理延迟降至 26 毫秒

一句话结论

无问芯穹联合清华大学、上海交大开源具身端侧推理引擎 APXInf，材料称其在 Jetson Thor 上把 Pi 0.5 FP8 端到端推理延迟从 278 毫秒压至 26 毫秒以内，推理频率达 38.46 赫兹，降幅约 10.7 倍。

事件概述或研究问题

腾讯研究院 AI 速递 20260916 第六条报道，无问芯穹联合清华大学、上海交通大学开源具身端侧推理引擎 APXInf。材料将其定位为端侧推理项目，并强调其面向具身场景、支持多类硬件平台、以 Rust 构建运行时并封装 Python 接口。具体研究问题、设计目标与完整技术报告，材料未提供，待核实。

方法/产品要点

• 开源主体：无问芯穹联合清华大学、上海交通大学。
• 产品名称：具身端侧推理引擎 APXInf。
• 支持平台：RTX 4090、Jetson Orin、Jetson Thor。
• 工程实现：用 Rust 构建极简运行时，并封装 Python 接口。
• 首发支持模型：Pi 0.5、WALL-OSS。
• 生态关系：作为 RLinf 生态的端侧推理项目开源。

主要结果或产业意义

• 性能结果：在 Jetson Thor 上，Pi 0.5 FP8 端到端推理延迟从 278 毫秒压至 26 毫秒以内。
• 频率结果：推理频率达 38.46 赫兹。
• 降幅：材料称降幅约 10.7 倍。
• 产业意义：若上述指标可复现，APXInf 可能降低具身模型在 RTX 4090、Jetson Orin、Jetson Thor 等端侧平台的部署门槛，并提升端侧高频推理的可用性；实际产业采用情况待核实。

为什么重要

具身智能通常需要在端侧或机器人本体附近完成低延迟推理，端到端延迟与推理频率会直接影响交互与闭环控制体验。APXInf 的开源、跨平台适配以及 Rust + Python 的工程组合，显示出端侧推理运行时正在成为 AI 基础设施的一个具体竞争方向。与已有 OpenRouter 等卡片关注的云端 LLM 网关/路由不同，本条不重复其事实，增量在于“具身端侧推理引擎与硬件平台适配”。

局限与不确定性

• 本条信息来自腾讯研究院 AI 速递的二手摘编，原始技术报告、开源仓库地址、许可证与复现说明待核实。
• 性能指标的具体测试条件待核实，包括批大小、输入输出长度、量化设置、功耗、温度、端到端定义与稳定性。
• 是否在 RTX 4090、Jetson Orin、Jetson Thor 上均有同等优化，材料未说明，待核实。
• “降幅约 10.7 倍”与“26 毫秒以内”的精确对应关系需以原始数据为准。
• APXInf 与 RLinf 生态的具体集成方式、社区采用与维护活跃度待核实。
• 英文标题：材料未提供，待核实。

可用于图书/PPT/简报的角度

• 端侧具身智能的“延迟—频率”指标如何影响机器人闭环与交互应用。
• Rust 运行时 + Python 接口作为边缘 AI 部署工程模式。
• 端侧推理引擎的硬件平台矩阵：RTX 4090、Jetson Orin、Jetson Thor。
• 中国团队在具身智能端侧推理引擎与开源生态中的布局。
• 与云端 LLM 网关/路由形成对照：AI 基础设施向端侧和机器人场景下沉。

原始材料

• 来源：腾讯研究院AI速递 20260916
• 抓取标题：腾讯研究院AI速递 20260916
• 父摘要：腾讯研究院AI速递 20260916
• 相关条目：六、无问芯穹开源APXInf，端侧推理延迟降至26毫秒
• Track：industry
• Topics：ai-industry
• Manual title：无问芯穹开源APXInf，端侧推理延迟降至26毫秒
• URL：https://m.sohu.com/a/1076523476_455313?scm=10001.325_13-325_13.0.0-0-0-0-0.5_1334&digest_item=6
• Parent URL：https://m.sohu.com/a/1076523476_455313?scm=10001.325_13-325_13.0.0-0-0-0-0.5_1334
• 英文标题：待核实（材料未提供）
• 英文关键词（材料中出现的英文专名/产品名）：APXInf、RTX 4090、Jetson Orin、Jetson Thor、Pi 0.5 FP8、WALL-OSS、RLinf、Rust、Python