英伟达发布Jetson内存优化指南：量化Qwen3 8B模型可释放约10GB内存

4月21日，英伟达发布博文，针对边缘设备内存受限的痛点，通过架构优化NVIDIA Jetson平台，最高可释放约12GB内存，帮助开发者在资源有限的边缘设备上部署AI模型。

在基础软件层面，英伟达提供了多项优化建议。禁用图形桌面界面最高可释放865MB内存，关闭非必要网络服务可再节省约32MB。针对Jetson Orin系列，开发者可调整Carveout保留区域，在无需显示或摄像头功能的场景下，通过修改设备树配置回收约68MB物理内存。内核层优化方面，利用硬件IOMMU特性调整SWIOTLB参数，可减少不必要的内存预留。

在推理流水线层面，英伟达表示将应用从容器切换至裸机部署可节省70MB内存，从Python迁移至C++可再释放84MB。在DeepStream框架中禁用Tiler和OSD等可视化组件并使用FakeSink，可额外节省258MB内存，合计优化幅度达412MB。

模型量化是最有效的内存优化手段。通过量化模型，可以大幅降低内存占用：将Qwen3 8B模型从FP16量化至W4A16格式，可节省约10GB内存；Qwen3 4B模型从BF16量化至INT4，可节省约5.6GB。

在实际运行案例方面，Reachy Mini机器人项目在Jetson Orin Nano 8GB设备上，通过4位量化技术运行Cosmos-Reason2-2B视觉语言模型，并协同部署语音识别与合成模块，成功实现了无云端依赖的端侧多模态AI应用。这一案例证明了优化后的Jetson平台能够在有限硬件资源下运行复杂的AI模型。