先给结论： DeepSeek 大模型部署要配什么 GPU，没有一张通用对照表可以直接照抄，它由四个变量决定——模型参数量与精度、上下文长度、峰值并发、目标响应速度。把这四个数字写下来，依次算三笔账：显存账决定能不能跑起来，吞吐账决定跑得快不快，余量账决定上线后会不会翻车。只按参数量配卡，是预算超支和上线卡顿最常见的原因。
为什么"参数量对应显卡"的表不能直接下单
想要一个"70B 用什么卡、7B 用什么卡"的简单答案，可以理解，但这类表只适合粗筛，因为它漏掉三件事：
- 精度差异：同一模型，FP16 与 INT4 量化后的权重显存可差 4 倍左右，效果表现也不同。
- 上下文与并发：显存里除了权重，还要装 KV 缓存和推理框架运行时；长上下文叠加高并发时，这部分占比很大。
- 输出速度要求：能启动和"用户愿意等"是两回事。吞吐不足时，加并发只会让所有请求一起变慢。
所以正确顺序是先定业务约束，再反推硬件。下面三笔账就是这个反推过程。
第一笔账：显存账，决定能不能跑起来
权重显存：一次乘法
权重显存（GB）≈ 参数量（B）× 每参数字节数。FP16/BF16 约 2 字节，INT8 约 1 字节，INT4 约 0.5 字节。例如 13B 模型 FP16 约 26GB，INT4 量化后约 6.5GB。
量化不是免费的：INT8 通常精度与成本较平衡，INT4 更省显存，但复杂推理、长链条任务可能出现可感知的效果损失。建议先用业务真实测试集验证量化后效果，达标再上生产。
KV 缓存：最容易漏算的部分
推理服务占用的是"权重 + KV 缓存 + 运行时 + 计算中间态"。KV 缓存随上下文长度和并发批大小增长：
- 短问答、低并发时，KV 缓存占比小，权重几乎决定一切。
- 长文档分析、多轮长对话、批量请求场景，KV 缓存会迅速膨胀，甚至与权重平分显存。字节 Seed 团队针对 DeepSeek 长上下文性能漂移的研究也提示：长上下文推理中 KV 缓存是资源消耗大户，内存与 IO 不足会放大输出异常（详见这篇长上下文性能漂移分析）。
实操做法： 用 vLLM、TensorRT-LLM 等推理框架按真实上下文长度和峰值并发做一次显存实测，把实测值而不是理论值写进采购需求。
显存粗估参考表（含 20%–30% 余量）
下表仅用于第一轮筛选，最终以所选模型与推理框架实测为准。
| 模型规模 | INT4 量化 | INT8 量化 | FP16 不量化 | 典型用途 |
|---|---|---|---|---|
| 7B 级 | ≥6 GB | ≥10 GB | ≥16 GB | 个人测试、提示词调试 |
| 13B 级 | ≥10 GB | ≥18 GB | ≥30 GB | 内部助手、知识库问答 |
| 34B 级 | ≥20 GB | ≥40 GB | ≥72 GB | 企业私有化、中低并发 API |
| 70B 级及以上 | ≥40 GB | ≥80 GB | ≥144 GB | 高精度生产、多任务服务 |
关于 DeepSeek 谱系要单独提醒：它既有超大规模 MoE 模型（总参数极大、推理时只激活部分参数），也有面向本地部署的蒸馏稠密小模型（常见 1.5B 到 70B）。MoE 不能套用稠密模型的显存公式，需要按专家并行、张量并行的多卡方案整体设计，采购前以你实际拿到的权重版本、官方模型卡与推理引擎文档为准。
第二笔账：吞吐账，决定跑得快不快
显存够了只代表服务能启动。用户体感取决于吞吐：每秒输出多少 token，同时能服务多少路请求。
估算分三步：写目标并发 N（如峰值 20 路）；写每路平均输出长度 L（如 500 token）和可接受等待 T（如首字 2 秒内）；反推总吞吐需求，并留排队空间。
吞吐不达标时有三条路：
- 换更快的卡：显存带宽和算力更强，单路生成速度与并发上限都更高。
- 加卡并行：张量并行能把模型拆到多卡，但卡间通信会吃掉部分收益，多卡效率并非线性叠加。
- 降精度或限上下文：量化、限制最大上下文长度、做截断，往往比加卡更省钱。
风险提醒： 多张消费级卡拼机，对 PCIe 通道、电源、散热、驱动和并行框架都有要求。生产环境若团队缺少多卡调优经验，选单卡大显存或成熟多卡整机通常更省时间。
第三笔账：余量账，决定上线后会不会翻车
至少预留 20%–30% 的显存与算力余量，原因有三个：
- 推理引擎启动、CUDA 上下文、tokenizer、向量库等都会额外占用资源。
- 流量峰值往往是平均值的数倍，余量不足时高并发会触发排队、OOM 或重启。
- 模型会迭代。今天跑 7B，三个月后换 14B 或拉长上下文，余量就是升级空间。
一个简单判断法：压测时显存占用长期高于 85%，这台机器不是"够用"，而是"卡在悬崖边"。
三档可执行配置思路
| 档位 | 适用场景 | GPU 思路 | 配套资源 | 关键约束 |
|---|---|---|---|---|
| 测试验证档 | 7B 级量化、单人或极低并发、跑通流程 | 单张消费级或入门专业卡，显存 16GB 起 | 8 核+ / 32GB+ / 512GB NVMe | 只验证功能，不承诺响应速度 |
| 小规模生产档 | 13B–34B 级、内部使用或中低并发 API | 单张 40GB 级专业卡，或双卡并行 | 16 核+ / 64–128GB / 1TB+ NVMe | 需压测确认并发上限，预留扩容位 |
| 高并发生产档 | 70B 级以上、面向外部用户、长文档分析 | 多卡大显存整机或集群，卡间高速互联 | 32 核+ / 128–256GB / 2TB+ NVMe | 资源隔离、限流、备份与监控同步上 |
如果你只是调用 API 而不自建推理服务，本机不需要 GPU，关注点应放在调用超时、重试、并发限制与成本核算上；GPU 配置是模型服务提供方的问题。
技术理由：地域与线路为什么会"变相改变"配置需求
GPU 决定服务端处理能力，用户感受的是端到端延迟。跨地域部署时，网络会吃掉硬件收益：
- 延迟：跨境链路往返延迟叠加到首字时间上，即使 GPU 吐字很快，用户等待依然变长。
- 路由质量：晚高峰国际链路容易绕行、拥塞与丢包，流式输出出现断流感，此时升级 GPU 并不能改善体验。
- 用户地理分布：用户在内地、服务器在海外时，优先看面向内地的优化线路（如 CN2 一类直连方案）；用户分布海外多地，则更看多点接入与 BGP 智能路由。
- 风险权衡：离用户近的机房延迟低，但机型和算力密度可能受限；算力充裕的地区延迟更高，要靠线路质量和流式输出策略弥补。这是"算力供给 vs 网络体验"的取舍。
因此配置清单里应同时写明目标用户所在地区与线路要求，否则容易出现"硬件够、体验差"的结果。
下单前核对清单
按顺序过一遍，每项都写成可验证的数字：
- 模型版本与精度：参数量多少？FP16 还是量化？量化后效果是否用业务测试集验证过？
- 上下文上限：最长输入 + 输出多少 token？KV 缓存实测占用多少？
- 并发目标：峰值多少路？可接受的首字延迟和完整响应时间是多少？
- 显存余量：实测占用是否低于可用显存的 70%–80%？
- 配套资源：CPU 核数、内存、NVMe 是否与 GPU 匹配，避免数据供给成瓶颈？
- 扩展路径：内存和显存是否留升级空间？是否需要多卡或集群？
- 网络要求：用户在哪里？线路类型、带宽峰值、DDoS 防护是否满足对外服务？
- 形态选择：测试期用 VPS 或小配置起步、验证后再升级，通常更省预算，取舍可参考这篇 VPS 与 GPU 服务器对比。
- 部署位置：本地、云上还是混合，取决于数据敏感度与负载特征，可参考这份部署位置决策框架。
约束明确后，再把 RakSmart 等服务商的 GPU 机型与清单逐项对照，核对显存规格、内存选项、线路与防护能力，比只看品牌或单价更有意义。若要分阶段投入，可以先用 VPS 完成原型验证，再升级到 GPU 服务器承接微调与高并发推理。
常见问题 FAQ
DeepSeek 部署必须用专业卡吗，消费级显卡行不行？
测试和小规模使用可以。7B 级量化模型在 16GB 显存的消费级卡上能跑通流程。但进入对外服务、多用户并发或长文档处理后，专业卡在显存容量、显存带宽、稳定性、多卡互联上的优势会明显体现。判断标准不是"能不能启动"，而是压测下能否持续满足并发与延迟目标。
显存刚好等于模型估算值，可以省预算吗？
不建议。权重之外还有推理框架运行时、KV 缓存与计算中间态，实际占用通常高于纯权重估算。至少留 20%–30% 余量；压测时显存长期超过 85%，请按更高一档采购，否则高峰期容易 OOM 或排队超时。
量化到 INT4 显存省一半以上，代价是什么？
代价在精度与稳定性。INT8 一般较稳，INT4 更省资源，但复杂推理、长链条和格式约束任务可能效果下降。正确做法是用自己的业务测试集对比量化前后输出质量，达标再上生产，不达标就升一档精度或升一档显存。
换更高配服务器能解决 DeepSeek 长上下文"抽风"吗？
不能完全解决。长上下文性能漂移部分源于模型本身特性，硬件只能缓解资源不足带来的加剧效应。充足内存与显存能保障 KV 缓存稳定，但业务侧仍需做长文本分片、上下文截断与历史管理。
配置看起来够了，用户还是反馈慢，问题在哪？
按顺序排查三处：一是网络线路，跨境延迟和丢包常常是主因；二是服务端排队，实际并发超过设计值；三是上下文策略，超长输入让单请求耗时成倍增加。先用压测和链路测试定位瓶颈属于哪一层，再决定加卡、换线路还是改业务逻辑。
结论
回答"DeepSeek 大模型部署需要什么 GPU 配置"，路径是：用模型规模与精度算显存账，用并发与输出要求算吞吐账，用 20%–30% 余量覆盖峰值与迭代，最后把用户地域与线路要求一并写进清单。这样得到的不是猜测，而是一份可验证、可比价、可扩容的采购依据。
如果你正准备整理需求，可以先按上面的核对项写出具体数字，再拿去对比各服务商的 GPU 机型与网络方案，用实测和条款逐项核验，而不是用宣传口径做决定。