方法 / 第15章更新 2026-10-15

部署与版本:知道上线的到底是哪套系统

本页目录 · 9 个段落

只保存模型名称,无法解释今天客服为什么换了行为。Prompt、业务例程、工具描述、知识快照、权限规则和评分器都可能改变结果。部署的决定是:如何把一个已比较的候选带入真实环境,限制影响范围,并在失败时恢复可用服务。

以发布组合追溯行为

Nubank披露组件独立选版的上下文组合:某个Agent版本选择相应Instructions、Routines、Macros和Tools Usage,而不是把所有历史文本同时放入窗口。论文§4 借鉴这一机制,可建立如下教学清单:

release_id: delivery-r3
parent: delivery-r2
model: provider-model-pinned-version
instructions: instructions-4
routine: card-delivery-3
tool_contracts: tools-2
knowledge_snapshot: policy-2026-10-01
authorization_policy: policy-7
eval_suite: delivery-holdout-2
judge: address-judge-3
runtime_image: sha256:example

清单引用具体内容与哈希,而不是可随时改变的“latest”。评测版本不一定随生产调用,但必须与发布比较结果关联。知识经常更新时可按风险设独立发布节奏;更新退款资格这样的业务规则,与修正一个文档错别字需要不同影响分析。

把候选登记为不可变版本,记录比较对象、变化原因和适用范围。配置存储是部署手段,不是质量保证。若供应商无法完全固定模型,记录可获得的版本与服务信息,并持续运行代表探针,明确剩余不确定性。

区分模板版本、本次事实与工具授权

Intuit的2024架构图把Prompt视为有生命周期的实体,列出Registry、Versioning、Templating、Hydration和观测;后续工程演讲连接开发环境、注册资产与运行时。原始幻灯片页16–19 · 工程演讲GenOS段 图没有公布内部schema或审批状态机,不能据图补写。

沿第10章的合成商品草稿任务:catalog-extract-1约定输出字段与引用;本次填入SUP-08/SKU-017资料和drinkware-2规则,是将事实装配到请求;API是否允许保存SKU-017草稿,则由授权与工具检查决定。供方材料换了不必同时改请求模板;模板文字没变也不能据此认定输入事实或权限没变。一次结果应同时记录模板版本、事实引用及校验结果、有效工具范围、发布组合。缺必需材料时返回不足,禁止拿上次供方事实补空。

注册让资产可发现、可选版,不自动授予业务权限。一个团队一笔任务先用版本库和发布清单即可;只有多个应用重复维护模型接入、评测、权限或恢复责任时,再考虑共享注册与运行服务。更多投资条件见平台与采用专题。

选择上线方式

方式合适场景必须防止的问题
离线回放比较解释、检索、评分与历史任务回放不能生成真实的新副作用
影子运行观察真实输入、延迟及候选差异禁止双重写入,仍须保护真实数据
人工审阅候选高错误代价、工作量受控审阅者要能查看依据与拒绝
限定流量灰度允许有限损害、可恢复、任务分群明确稳定分流、监测、回退与污染控制

影子任务可复制读取上下文,但写工具应替换为隔离模拟器;不能只在Prompt要求“不执行”。同一客户或任务应稳定进入同一版本,避免多轮对话在两个版本间漂移。灰度比例、持续时间与停止条件取决于流量和损害后果;低流量任务需要更长观察,严重风险不能用“大样本会摊平”解释。

Nubank披露离线筛选后线上A/B和模型迁移比较,但这不提供所有企业可照搬的上线比例。实验应有同时期基线,保留任务分母与分群,观察人工处理、投诉、返工、时延和成本。涉及不可接受风险时,先使用受控验证,不把危险作为普通A/B变量。

回退包括状态,不止软件

新模型失常可以切回旧版本;工具写入已发生则需要状态核对和补偿;新知识误导已发送消息则可能需要用户告知。发布计划应回答:停止新任务还是停止写入?进行中的任务继续旧版本还是转人工?后台已完成动作怎样避免重复?

合成客服示例:补卡API已返回request_id但聊天服务超时,回退模型后应查询该请求状态,再继续告知,不能重新创建补卡。合成商品示例:候选图已发布,回滚生成配置不恢复商品图片,需要按资产清单切回原图。这些行为由业务接口与恢复流程保证,不依赖模型记住事故。

上线前可离线演练四类变更:模型替换、工具schema变化、知识撤回与权限撤销。记录旧版本仍否兼容当前数据库和工具,回退路径不能只是文档中的箭头。对依赖不可用提供可理解的降级,例如只查询状态、延后草稿生成或转人工;不要把未知事实当作缓存事实无限沿用。

把一次商品改动交给发布者

第18章的F04发现杯身/杯盖混淆。参考发布提案catalog-ops-r2关联CH04:候选字段契约、Prompt或规则、界面、工具、drinkware-2、来源快照、权限策略、检查集和量尺各指向具体版本。它是待验证提案,不是已上线版本;变更者先交旧例与N01–N04新条件结果,再由责任人决定限定试用。Prompt模板指规则文本;Hydration指填入本次事实;runtime image指程序与依赖的固定打包版本。

若新条件失败,保持旧版安全子集或暂停相关生成;已经写错的草稿要逐对象修订、重新确认并回查,回退配置不会撤销它。第17章O09/O10仍按原动作键核对,不因换版重提。模板、事实与授权分别变化,发布者要能从一笔结果查回实际组合,再决定重测哪些任务。

外部模型退出也要有发布路径

Zalando2026工程快照披露:网关用调用后hook记匿名成本,用调用前hook限制旧客户端,处理长尾用户迟迟不更新配置的模型退役问题;还注入Prompt缓存检查点,并用session数据排查低命中。这些是平台运营披露,和2024商品建档是不同内容。官方工程博客,LLM proxy与session段

对合成商品助手的迁移做法:M1将在某日退出,先定位仍调用M1的应用、客户端版本与任务owner;拿候选M2重跑有字段冲突、缺证据和写入超时的任务;在限定群体切换,核对schema兼容、质量、每成功任务费用和尾部等待;通知未更新客户端并给出可用升级入口,最后停止M1路由。供应商已关闭M1时,不能把“回退旧模型”写成仍可执行;备用路径可能是保留读取、暂停生成或转人工。

缓存异常先关联请求版本、模型、cache写入/读取token和session定位,分清一次上下文前缀变化与系统性退化。平台帮助注入缓存不替应用验证事实时效、租户隔离和任务质量。这里的退出步骤与隔离要求是原创参考设计,博客没有证明Zalando采用这些完整验收步骤,也没有给出可直接复制的缓存阈值。

部署方式服务约束

数据迁移也属于发布:新增字段先保持旧读路径兼容,再迁移数据,最后移除旧接口。工具输出字段改名时,旧Prompt可能仍期待旧字段;应使用契约测试与代表任务共同检查。发布清单记录外部依赖变更,区分本方可回滚的版本与供应商已不可恢复的服务变化。容量测试关注峰值和尾部等待,包含限流、超时、队列积压及降级后的人工承接能力,不能只测一笔顺畅请求。

托管API通常减少运维负担,适合快速验证与流量变化;自托管便于特定数据边界和算力控制,但需要容量、更新、安全和故障责任。小模型、量化与缓存可以优化成本时延,必须在任务上重新比较质量。应比较托管与自托管的全部成本,再决定是否维护GPU服务。缓存键至少涵盖影响结果的版本、权限范围和事实时效;价格、资格等实时事实不应仅靠语义相似命中。

完成本章的标志是能够追溯一次结果的发布组合、解释本次变化、执行受控回退并核对受影响任务。检查应由没有参加本次开发的人按记录操作一次;如果只能靠作者临时解释才能恢复,就补清关键步骤。随后进入试点与采用,把运行结果放进真实工作,而不只比较请求指标。

参考资料

继续使用

上一章:可靠性、安全与观测 · 下一章:试点与采用 · 五篇阅读目录。发布组合可复制本章YAML;试点计划用于记录限定范围、停止条件及接续责任。

案例延伸:Nubank客服:查看组件选版与模型迁移怎样关联评测。

把这一页用到你的工作里

来源与使用范围

方法综合公开研究与教学推演;参考资料、适用条件和示例边界见正文。

一起判断下一步

带一笔任务,聊一个具体决定。

培训、方案评审或落地辅导,从你的工作材料与当前困难开始。

交流我的场景