大模型本地部署的选型与运维要点

本地部署的第一步不是买卡，而是评估并发。日常使用量、峰值并发、单次请求的平均长度，决定了显存与推理框架的选择。

模型选择上，通用问答与结构化抽取对模型的要求并不相同。先用较小模型验证流程是否跑通，再根据实际效果决定是否需要更大参数量的模型，通常比一上来就上大模型更划算。

推理服务的运维要提前规划：显存监控、请求排队、异常重试、版本回滚，这些都是上线后才会暴露的问题。建议在 PoC 阶段就把监控接口预留出来。

如果数据敏感度不高，也可以采用混合方案：敏感数据走本地模型，通用能力调用云上服务，在成本与合规之间取得平衡。