FDE 驻场被怼三年,我总结的现场排坑法
1. FDE 驻场被怼三年,我总结的现场排坑法
[!abstract] 速览
- AI交付在绝大多数时候,根本不是前沿科技的竞赛,而是一场繁琐甚至灰头土脸的系统工程与人性博弈。
- 所以现场排查的第一心法就是:先当个怀疑论者,默认模型是无辜的,用最快的速度把数据链路过一遍。
- 只要喂给模型的输入跟事实不一致,后面推理全白扯。
- 模型本身没错,错在真实业务变了而数据没跟上。
- 能在现场15分钟内搞清楚“是数据问题还是模型问题”,靠的从不是论文背得多熟,而是你对整条工程链路的掌控力、对业务逻辑的同理心,以及在面对质疑时还原事实证据的底气。
本文总结了 FDE(现场开发工程师)在 AI 项目现场排查问题的实战方法,强调大多数问题源于数据链路和业务场景漂移,而非模型能力不足。
1.1. 摘要
本文作者基于三年 FDE(现场开发工程师)经验,系统梳理了在 AI 项目现场快速定位问题的实战方法。文章指出,现场 90%以上的问题根源于数据链路工程缺陷或业务场景漂移,而非模型本身能力不足。作者提出五大排查步骤:首先确认模型输入数据的完整性(查截断、查空值、查格式变形),其次通过’人肉测试法’验证信息是否足够,第三步将检索和生成环节拆分单独测试,第四步警惕三个隐形地雷:线上线下计算逻辑不一致、业务口径暗度陈仓、历史标签错误。最后,文章强调如何以专业而非指责的方式向各方阐述问题,避免技术傲慢,最终强调 AI 交付是系统工程和人性博弈。
1.2. 主要内容
- 现场 90%的问题源于数据链路和业务场景漂移,而非模型能力
作者通过统计发现,所谓’模型太笨’或’识别不准’的报错,最终查出六成以上是数据工程 Bug(字段取错、接口截断、解析器损坏),三成是业务场景漂移(总部标准与分公司土办法不一致),只有不到一成是模型能力不足。 - 排查的第一步是确认模型输入数据的完整性
现场要在前三分钟查清楚文本是否被截断、接口字段是否为 null、格式是否被变形。只要喂给模型的输入跟事实不一致,后续推理都白扯,这一关过了就能干掉大半悬案。 - 人肉测试法能快速验证信息是否足够
将模型输入文本复制到记事本,让懂业务的人在没有系统参考的情况下用这些信息作答。如果人类也答不出,说明信息不够;如果人类能答出而模型答不出,才是模型问题。 - 将检索和生成环节拆分单独测试
问答链路拆成检索和生成两步,分别测试:先手动把知识库原文贴进提示词绕过检索看模型是否能答对。如果能答对,问题在检索(切片太碎、行业黑话不匹配);如果还是错,才是模型本身的问题。 - 警惕三个隐形地雷:计算逻辑不一致、业务口径变化、标签错误
线上填-1 改填 0 导致树模型分支错误;海淘返现活动导致分布漂移;历史标签被外包标错等。这些问题需要通过特征对比、业务访谈和样本复核来发现。
FDE干久了,治好的都是自己的“技术傲慢”
AI功能你用过几次就弃了?调研显示,采纳率低的首要原因不是找不到、不会用,而是不信任。与其急着优化入口,不如用进入率、完成率、重复使用率三个指标,看清用户到底卡在哪,再对症下药。
———— / BEGIN / ————
干了三年多FDE,我手机里存了几十个这种车祸现场。
很多新入行或者纯研发转过来的兄弟,遇到这种事习惯性去翻代码、看模型架构,甚至想在客户内网那台破跳板机上搭环境重跑。说实话,这完全是方向跑偏。在客户现场,你最缺的就是时间。业务方没耐心听你讲注意力机制,算法在后方几百公里外不痛不痒,领导在飞书上隔十分钟弹一次消息问进展。
你只有一刻钟到半小时。这一刻钟里,你如果不能把问题定性,接下来两周你就等着在客户机房里打地铺吧。
今天不扯高深理论,我就站在一个被甲方业务和自家算法混合双打过几十回的老油条角度,聊聊怎么用最接地气、最管用的办法,在现场快速把“数据问题”和“模型问题”扒得一清二楚。
1.3. 现场90%的锅,跟模型半毛钱关系都没有
刚做这行时,我特别崇拜后方那帮把SOTA挂在嘴边的算法大牛。每次现场出Bad Case,我都先反思是不是模型泛化能力不够,或者是提示词没调好。
后来脸被打肿了几次,我才彻底醒悟:实验室里的模型,跟现场跑的模型,根本不是一码事。
在实验室里,算法同学拿到的数据集是外包团队辛辛苦苦清洗过、字段整整齐齐的“标本”。但在客户现场呢?
客户给你的数据,往往是运行了十几年的老系统导出来的。字段名可能叫 col_12_bak_new,时间格式一会儿是 2024-05-01,一会儿变成带中文的 24年5月,中间还夹着业务员手抖塞进去的乱码、全角空格和各种奇怪字符。
更要命的是业务逻辑。客户的规则根本不是写在代码里的,而是存在某位老会计脑子里,压根没人记到文档里。
按照我这几年的统计,现场报上来的所谓“模型太笨”、“识别不准”,最终查出来:
- 起码六成是数据链路的工程Bug,比如字段取错、接口截断、解析器把表格打碎了;
- 三成是业务场景漂移,客户拿给你们训练的是总部的标准规范,现场跑的是分公司的土办法;
- 真正因为模型能力不够的,不到一成。
[!tip] 现场排查的第一心法
所以现场排查的第一心法就是:先当个怀疑论者,默认模型是无辜的,用最快的速度把数据链路过一遍。排除完数据问题,再去怀疑模型。
1.4. 模型“张嘴吞下去”的到底是什么
很多交付新人,客户说哪里错了,就凑到屏幕前看业务前端界面。这最容易被带进沟里。前端展示的东西,跟真正通过接口喂给模型的输入,中间隔着十万八千里。
去年在一家制造企业做供应链文档审核,是大模型RAG落地。业务主管怒气冲冲找我,说系统审不出采购单里的违约金条款。他在前端打开PDF,指着第三页一条加粗条款说:“这写得清清楚楚,违约按日千分之三扣罚,你们AI居然说没提违约金,睁眼说瞎话吗?”
我当时要是头铁,跑去改Prompt加一句“仔细阅读违约金”,那这辈子也调不好。
我直接连上现场网关,把真正发给大模型推理服务的原始JSON日志抓出来。这一看,问题当场暴露:那份合同不是纯文字排版,加粗的违约金条款是用浮动文本框贴在页面右侧的。我们的开源PDF解析工具只读了主文本流,浮动文本框根本没抽出来!
也就是说,大模型收到的上下文里压根没有这行字!它回复“未提及违约金”,不仅不是笨,反而是非常严谨。
你看,光看前端界面你觉得模型瞎;但看一眼底层输入日志,你就知道是解析工具在使绊子。
现场拿到报错单号,头三分钟必须查这三件事:
| 检查项 | 具体看什么 |
|---|---|
| 查截断: | 文本是不是超长被网关硬生生截掉了?关键信息刚好在截断点之后。 |
| 查空值: | 接口传过来的字段是不是 null?很多时候客户数仓昨晚改了表结构,程序读不到值悄悄填了默认值 0,模型拿到一堆0,算出来的结果自然荒腔走板。 |
| 查格式变形: | 原文里的多行表格,到了模型输入里是不是被压成了一行没有标点的流水账?再牛的模型面对这种输入也得懵。 |
[!warning] 输入失真,推理全废
只要喂给模型的输入跟事实不一致,后面推理全白扯。这一关过了,能干掉大半悬案。
1.5. 最土但最管用的绝招——“人肉测试法”
确认喂给模型的数据没丢字段、没被截断,接下来怎么分清是“给的信息不够”还是“模型脑子不够”?
我屡试不爽的一招叫人肉测试。说白了,就是把你自己当成AI。
你把最终组装好扔给模型的那段文本(包含提示词、检索资料、业务特征),从日志里拷出来,贴进干净的记事本里。
然后找个懂业务的人,对他说:
[!example] 人肉测试仅需一句话
“老师,您先别管系统。假设您现在是个新员工,手里只有屏幕上这几百字,完全不参考其他系统,您能把答案做出来吗?”
这一招,能把大半“伪需求”和“隐性知识”炸出来。
我在一家券商做投研研报摘要时就碰过钉子。分析师嫌弃模型给出的“核心驱动力”不准。我把检索出来的研报切片拿给分析师看:“光看这三段话,您能看出驱动力是海外降息吗?”分析师愣了一下说:“研报里虽然没写,但业内人都知道这家公司在降息周期弹性最大,这是常识啊!”
对人类是常识,对大模型来说,如果这常识没在预训练里强化,检索模块又没把降息报告捞出来喂给它,它凭什么凭空推断?
1.6. 在“检索”和“生成”中间切一刀
现在交付最多的就是大模型知识库和问答助手。出问题时,很多新手喜欢胡子眉毛一把抓,一会儿改Prompt,一会儿调Embedding,一会儿怀疑底座模型。
其实只要做一件事:把检索和生成切成两截,各自单测。
问答链路就两步:先把资料找出来(检索),再按资料组织语言(生成)。现场排查做个“手动投喂测试”,两分钟锁定责任方:
从知识库里找到标准答案所在的原文,手动复制粘贴进提示词,跳过检索直接发给模型,看它能不能答对。
| 情况 | 做法与现象 | 定性 | 处理方向 |
|---|---|---|---|
| 情况A: | 手动把原文贴进去,大模型立刻回答正确。 | 说明模型没毛病,问题全在检索环节。 | 去查为什么检索没召回这段原文:是切片太碎把句子切断了?还是客户用的行业黑话跟文档里的学名对不上?去加同义词表、加BM25关键词检索,半天就能搞定。 |
| 情况B: | 原文段落都怼到它脸上了,它还是在那胡说八道。 | 这才是模型本身的问题。 | 要么是模型长上下文能力不行(把中间信息给忘了),要么是提示词里写了互相冲突的指令,或者温度设太高导致它胡乱发挥。 |
把检索和生成拆开,你就不会抓瞎,更不会把改改检索配置就能解决的事,变成让后方算法花几天重新微调模型的惨案。
1.7. 小心这三个“隐形地雷”
交付传统特征工程分类模型(比如风控、反欺诈、预测)时,数据问题往往伪装得更隐蔽。
现场最常踩的是三个雷:
1.7.1. 偷懒导致的“线上线下计算逻辑不一致”
后方算法在离线训练时用Python算特征,比如“过去30天逾期天数”,未逾期的填默认值 -1。到了线上生产环境,Java工程团队觉得填 -1 不合规,改成了填 0。
对于树模型来说,-1 和 0 是完全不同的分支路径!这一改,模型整个走岔,线上疯狂误报。现场把离线样本特征和线上日志特征拉个表格并排对比,这种工程小动作立刻现形。
1.7.2. 谁都没注意到的“业务口径暗度陈仓”
在某银行做欺诈识别,上线前两周指标很稳,第三周误报率突然暴涨三倍。把误报数据拉出来看,发现全都有大量小额境外刷卡。找业务一问才搞清楚:他们刚上线了“海淘返现活动”!训练集是过去三年的老数据,模型眼里这类行为就是典型盗刷。
这种现象叫分布漂移。
[!note] 模型没错,是业务变了
模型本身没错,错在真实业务变了而数据没跟上。解决办法是把新场景数据打标,作为增量样本补进训练集。
1.7.3. 客户给的历史标签本身就是错的
不要盲信客户提供的历史标签。
在专业领域,客户往往把标注派给实习生或外包做。在工业质检项目上,几条产线的良品老被误判成缺陷。
我写脚本把跟Bad Case最像的训练集样本捞出来。大屏幕一放,老师傅自己都乐了:那两张标着“缺陷”的底库照片,其实根本就是完好无损的合格品,当年外包给标错了。
证据摆在眼前,客户自己都不好意思再怪算法。
1.8. 在现场,怎么把坏消息体面地讲给各方听?
查出问题只是前半截,真正考验FDE功力的,是怎么把结论包装成人话讲出来。
现场永远有三方利益:业务方要交差,客户IT怕背锅,后方算法怕瞎改。
1.8.1. 怎么跟客户说“是你们数据脏了”?
[!attention] 直说一句,客户IT能恨你一年
切记,永远别当着业务领导的面直说:“是你们表结构改了”、“你们导出的数据全是乱码”。这么说,客户IT能恨你一年。
聪明的话术是把“数据质量差”包装成“业务发展的特殊性”:
“领导,这批异常单据我们逐条复盘了全链路。底层的模型底座运转很正常。之所以这几笔处理不对,是因为华南分公司的业务场景非常领先,出现了一些新字段和特殊排版,超出了原来总部基线数据的覆盖范围。
我们已经把这几种业务模式单独提炼出来了,只要IT老师配合在接口层做个映射规则,或者我们加个格式兼容模块,今天下午就能补齐上线。”
既捧了业务方,又照顾了IT的面子,还给出了当天就能落地的解法。
1.8.2. 怎么让后方算法心甘情愿改模型?
如果确认数据干干净净、人脑一眼看懂,确实是模型能力触顶了,也千万别在群里抱怨“模型又翻车了”。
算法最烦没营养的抱怨。你发过去的必须是封装好的最小复现包:
| 要素 | 该写什么 |
|---|---|
| 排除项声明: | “已核验线上输入,字段无缺失、文本无截断、Prompt与测试集一致,排除了数据链路问题。”(堵死后方甩锅退路) |
| 模式归纳: | “不是偶发错误,模型在处理‘多重转折关系的退运条款’时存在系统性缺陷,测试15例,错12例。” |
| 可直接跑的复现脚本: | 附带脱敏后的15条JSON数据和测试代码,让他们在本地敲回车就能复现。 |
拿出这种专业的工单,后方算法绝对服气,马上会优先帮你排期优化。
1.9. FDE干久了,治好的都是自己的“技术傲慢”
早年做技术,总觉得算法决定一切,谁的模型刷榜第一谁就牛。
但在现场摸爬滚打这么久,我越来越深刻地意识到:AI交付在绝大多数时候,根本不是前沿科技的竞赛,而是一场繁琐甚至灰头土脸的系统工程与人性博弈。
跑崩的单据背后,可能牵扯着客户三个部门十几年的权责;莫名其妙的空字段背后,可能是上游老系统不可说的技术债;那句离谱的模型回答背后,可能仅仅是因为谁少写了一个换行。
能在现场15分钟内搞清楚“是数据问题还是模型问题”,靠的从不是论文背得多熟,而是你对整条工程链路的掌控力、对业务逻辑的同理心,以及在面对质疑时还原事实证据的底气。
———— / E N D / ————