提示工程 · 方法
提示工程规范
把“凭感觉写提示词”沉淀为可复用的模板库与 A/B 流程,让团队的提示词像代码一样可版本化、可评测、可交接。
- 年份
- 2024
- 类别
- 提示工程 · 方法
- 角色
- 方法沉淀 · 模板库维护
提示词是大模型应用里最便宜、也最容易被低估的杠杆。我加入团队时,发现每个人都有自己的一套「土方」:谁手感好谁来写,写好了也说不清为什么好,一旦这个人请假或离职,相关功能就没人接得住。提示词成了藏在个人脑子里的秘密,这对团队是巨大的风险。
我想做的,是把提示词从「玄学」变成「工程」。第一步是模板化。我把团队反复出现的任务——摘要、抽取、分类、改写、对话——抽象成带变量的模板,每个模板配上使用说明、适用场景,以及正反例,告诉使用者什么时候该用、怎么填、容易踩什么坑。提示词从此是可以共享的团队资产,而不是个人手艺。
第二步是版本化。我把提示词纳入版本管理,每一次改动都有记录、可回滚。这样当线上效果突然变差时,我们能快速定位是哪次改动引入的问题,而不是在一堆「最新版」里抓瞎。
第三步,也是最关键的一步,是可评测。过去判断一个提示词好不好,全靠几个人试几条「感觉不错」就上线。我引入了 A/B 流程:每次改提示词,都拿固定的评测集跑一遍,用数据判断是真的变好,还是只是这次随手试的几条凑巧顺眼。改坏了,评测会立刻告诉你。
为了让方法真正被用起来,我没有写一份厚厚的文档塞给大家,而是把规范嵌进日常工作流:新建任务时直接从模板库选起,改提示词时评测自动触发。让正确的做法成为最省力的做法,规范才不会沦为摆设。
我也持续维护这个模板库,定期把新沉淀的好用法补进去,把过时的标记淘汰。库越用越好用,团队自然就越来越依赖它。
推行下来,提示词的复用率大幅提升,关键任务的效果第一次可以量化对比,新人照着模板就能快速产出稳定结果,交接成本显著下降。这件事再次印证:很多看起来玄乎的东西,只要愿意把它工程化,就能变得可控、可积累。
成果 / Outcomes
- 01提示词复用率大幅提升
- 02关键任务效果可量化对比
- 03交接成本显著下降
- 04正确做法嵌入工作流
其他项目 / More work