生产级企业应用在国产推理加速卡部署时，常受算子兼容、单卡显存不足和并发响应限制。模型权重、键值（KV）缓存与计算工作区争抢显存，长短请求混合又易引起重复编译和排队。本需求拟研究统一后端适配、低比特量化、分层缓存及显存约束下的联合调度，实现低显存环境中的模型推理，兼顾答案质量、吞吐与稳定性。

1. 建立推理卡能力描述与算子适配层，处理兼容性并校验数值一致性。2. 研究权重量化、分块加载与按需卸载，结合预取降低显存占用及搬运开销。3. 联合编译图复用、KV缓存分页回收与动态批处理，按显存水位调整预填充分块和请求准入。兼顾低显存下的量化精度、推理时延与混合负载吞吐，避免显存超限。

前期研发人员17人，已投入经费205.97万元。拟以厂商推荐推理配置建立基线，验证模型加载、量化和固定批量推理，再分析显存峰值、卸载搬运与混合负载瓶颈。

以下为拟定考核目标，硬件、原始模型权重、精度、负载及服务时延上限在立项时固化；常规加速与低显存模式分别评测。1. 完成3类国产推理加速卡、2款代表性开源文本大模型的端到端适配，支持预填充、逐词元解码及统一服务接口。2. 固定业务评测集上，低显存模式问答正确率较原始未量化参考实现下降≤1%；常规模式关键算子误差满足约定容差。3. 常规加速模式在相同硬件、权重精度及请求负载下，较厂商稳定推荐配置，有效输出吞吐提升≥20%，首词元及词元间时延P95均不高于基线；仅统计满足时延上限的请求。4. 低显存模式在单卡可用显存24GB、主机内存16GB及约定上下文、并发下完成端到端推理；混合负载连续运行24小时，已接纳且未取消请求成功率≥99%，无缓存串用或回收异常，报告显存峰值与卸载时延。

技术解决方案、仿真分析模型、数据库