与 AI 协作分析 · 1/7
假设 AI 十分钟就完成了一份留存分析。报告看起来已经可以交付,直到会议上有人问:「为什么用这个分母?」
理由可能藏在前几轮讨论、被放弃的查询,或分析做到一半才调整的决定里。负责这个数字的人,仍然得重新把脉络拼起来。
与 AI 协作分析一年多后,我越来越在意这件事:AI 做得越快,人对分析的理解,不一定跟着长得一样快。
流畅的答案,可能掩盖没有说清楚的假设
语言模型可以交出结构漂亮、语气肯定的结论,但流畅的答案未必充分揭露假设与不确定性。读完结论,不代表我知道它测试过什么、为何选择这个定义,以及哪些事情根本没有被考虑。
与新人分析师协作时,通常能透过提问逐渐发现他的知识边界。审阅 AI 分析时,我也需要追问:它为什么这样判断?使用了哪些假设?哪些选择还没验证?不能只看文字是否通顺。
产出变快了,理解与责任仍要有人接住
过去自己跑分析时,即使没有完整记录过程,很多 context 仍然留在脑中:
- 为什么选择这个分母?
- 哪些方向已经测试过,但最后被放弃?
- PM 追问某个异常时,下一步可以往哪里下钻?
交给 AI 后,结果可能比这些理解更早到达。准备交付的人除了审阅,还多了一份工作:从聊天纪录中考古。
被放弃的路径、变更中的假设,以及多轮调整的计划,如果没有清楚留下,轻则返工,重则再次使用已被否决的定义,或错失一条重要线索。
AI 不会代替我出席会议,也不会替分析结果承担决策责任。执行时间缩短,不代表从问题到可信交付的总时间一定缩短。
我的做法:让决策与证据成为交付物的一部分
我开始思考的问题不再只是「怎么让 AI 给出更好的答案?」,而是「怎么让人与 Agent 共享同一个分析脉络?」
对开头的留存分析,我希望至少留下三件事:
- Plan 留下决策: 采用哪个分母、有哪些替代定义,以及为什么放弃它们。
- 执行纪录留下证据: 实际跑过的查询、结果与验证,能连回那个决策。
- Report 留下交付: 最后采用的结论、支持证据与限制,让接手的人知道目前主张什么。
如果 PM 挑战分母,我想看得到当时考虑过哪些定义、为何选这一个,以及换个定义可能改变什么,而不是再读一次同样有自信的答案。
Agent state 则把探索、规划、执行与交付分开。探索时可以尝试方法,正式执行前先产出可审阅的 Plan,交付时再收敛至 Report。文字整理得漂亮,并不代表结果已经被验证或核准。
这也是我建立 Lantide Data 的出发点:让 AI 加速工作,同时把人理解、质疑与接手分析所需的决策与证据,留在工作区里。不是每个思考片段都要记录,但负责分析的人,不应在开会前重新逆向工程整份分析。
延伸阅读
在 Lantide Data 中试用这套分析工作方式:下载 Lantide Data。