OpenAI开源量化工具GPT-Q获3000家公司采用，降低大模型运行门槛

OpenAI开源的GPT-Q量化工具，已被全球超过3000家AI创业公司采用，帮助开发者在消费级GPU上运行原本需要数据中心级硬件支持的大模型。

GPT-Q是一种面向大语言模型的量化工具，通过将参数从FP16精度压缩至INT8或INT4，可将模型体积缩小约75%，同时保持95%以上的推理性能。该工具开源后，成为AI开发者降低模型部署成本的重要选择。

在AI算力与存储资源需求持续攀升的背景下，模型量化是减少存储需求的技术优化手段之一。此前，OpenAI为支撑其“星际之门”项目，每月需采购90万片存储晶圆，占全球DRAM产能的57%，而模型量化能够显著减少训练与推理过程中的存储和算力消耗。