开源模型部署时最容易被忽视的显存带宽瓶颈

开源模型自托管时性能不佳,根因常是显存带宽受限而非算力不足。本文用算术强度判断带宽瓶颈,对比RTX 3090至H100的实测带宽与解码速度,展示量化、投机解码等绕过物理限制的优化方法,并给出基于带宽的硬件预检计算方式。

阅读全文