NO No.004 · 判断
在自己电脑上跑大模型，值不值？
几乎所有「本地部署」教程都从「数据安全」讲起，几乎没人给你算账。 这篇只算账：把硬件、电费、折旧和 API 账单放进一张表，看它到底在哪一边。
对大多数人不值。除非你踩中三条里的任意一条：数据有硬性合规要求不能出内网、 必须在离线环境里用、或者用量大到 API 账单已经超过硬件折旧。 剩下的人，买卡的钱不如先买两年的 API。
一、先把硬件账摊开
想在本地跑出「能干活」的效果，一台 24GB 显存的整机是起步线。按市面上常见的配置， 整机大概在一万二到一万五之间。这笔钱不是花掉就完了，它会折旧。
按三年折旧算，每月固定成本是 350 到 420 元。再加上电费：整机满载约 300W， 假设你每天真的用满 4 小时，一个月约 36 度电，按民用电价差不多 20 到 40 元。 也就是说，这台机器只要开机，每月先烧掉四百块左右。
二、再算 API 账
同样这四百块，换成云端 API 能买多少？一个中等强度的个人使用者，每天二十来次对话， 每次输入输出合计两三千 token，一个月大概一百多万 token。按主流闭源模型的公开价位， 这个量级的花费通常在几十元到一两百元之间。
换句话说，你要用本地部署省下的钱，得先把 API 用到每月四百以上， 而那个用量已经接近「每天几小时高强度对话」的程度了。绝大多数人根本到不了。
| 项目 | 本地自建 | 云端 API |
|---|---|---|
| 一次性投入 | 约 1.2–1.5 万元 | 0 |
| 每月固定成本 | 折旧 350–420 元 + 电费 20–40 元 | 0 |
| 每月用量成本 | 0（跑到硬件上限为止） | 轻度几十元，重度数百元 |
| 模型能力 | 中尺寸开源模型 | 旗舰闭源模型 |
| 维护成本 | 驱动、量化、推理框架、版本升级全自己来 | 无 |
| 数据流向 | 不出本机 | 出网（企业版可另谈） |
价格为公开报价量级估算，随型号、促销和汇率波动，请以你实际看到的报价为准。 这张表要看的不是绝对数字，是数量级差异。
三、真正贵的是隐性成本
上面那张表还漏了一列：时间。本地部署不是装完就完事，它是一个持续投入的爱好—— 模型半年一换代，你的显卡不会跟着换代；量化等级调错一点，输出质量肉眼可见地掉； 推理框架的版本冲突能让你一个下午没了。
还有一个容易被忽略的落差：24GB 显存能舒服跑的是中等尺寸的模型。 它在「总结、改写、分类」这类任务上够用，但在复杂推理、长文档理解上， 和云端旗舰差着明显一截。你花了一万五，换来的是一个「还行」的模型。
四、什么情况下它真的值
- 数据有硬约束。医疗记录、法务卷宗、客户合同，这些进不了别人的服务器。这条最硬，也最常被拿来当借口——先确认你的数据真的属于这一类。
- 必须在离线环境跑。工厂内网、涉密场所、野外作业，没有稳定外网的时候，本地是唯一解。
- 用量真的到顶。批量处理几十万条文本、每天跑几百万 token，这时候 API 账单会实打实超过折旧。
- 你就是想学这门手艺。那这笔钱是学费，不是成本，别拿「省钱」当理由骗自己。
五、想试的话，别从买卡开始
如果你只是好奇，先用现成的工具在你现在的机器上跑一个 7B 级别的模型，感受一下它的速度和答非所问的程度。 大多数人跑完这一轮，好奇心就满足了，省下一万五。
等你发现「我每天都在用它，而且它老是卡在某个能力上限上」，再去考虑买卡。 到那时候你至少知道，自己要的是显存、是速度、还是某个特定模型——而不是一个「本地部署」的概念。
所以呢
本地部署是一个为特定约束付溢价的方案，不是省钱方案。 把它当省钱手段的人，最后往往既没省下钱，也没得到好用的模型。
先问自己一句：我到底是在解决「数据不能出门」，还是在解决「我想拥有一个自己的大模型」？ 前者值得花这个钱，后者也值得——但你得知道自己在买什么。