项目简介
model-vram-calc 是一款面向 AI 工程师、算法研究员和运维人员的在线显存估算工具。它帮助您在部署大语言模型前,快速评估显存占用、KV Cache 大小以及集群并发能力。
工具内置 12 种主流模型预设(DeepSeek、GLM、Qwen、Minimax)和 7 种 GPU 配置(H200、B200、RTX 5090 等),支持 FP16/BF16/FP8/INT8/FP4/INT4 多种量化方案,开箱即用。
作者简介
我是 Soong,写此软件因工作中遇痛点,市面工具不佳,便业余时间开发,想"也许别人也需要"。后项目渐有用户,得世界各地反馈和 PR。看到有人说工具帮他节省时间,成就感满满。
我普通程序员,开源开发是副业也是热情所在,靠软件周边服务维持生活。开源不易,除写代码,还要处理文档、修复 Bug 等,均需时间精力,还有成本。
若软件对您有帮助,望打赏,将用于支付费用、提升软件质量、专注核心功能开发。金额多少都是鼓励。若不便打赏,点 Star 或推荐给朋友也是支持。谢谢,希望能继续为您提供好用的软件。
支持作者
如果您觉得这个工具对您有帮助,欢迎赞赏支持持续开发和维护。