与 AI 协作分析 · 5/7
团队做过一次分析,不代表其他成员或下一个 Agent 就能接着做。
我认为 AI 在分析工作中一个容易被低估的价值,是让保存分析经验这件事,开始有机会在合理的成本内完成。
有数据、有业务知识,还缺什么?
盘点团队做分析时需要的信息,我会分成三类:
| 类型 | 保存的内容 | 活动分析中的例子与用途 |
|---|---|---|
| 数据上下文(Data Context) | 有哪些数据、去哪里查、栏位与指标怎么定义 | 活动埋点、参与率指标、Schema 与查询入口,让 Agent 知道数据怎么查 |
| 领域知识(Curated Domain Context) | 业务运作方式与整理好的方法 | 活动规则、用户分型、内部用语与 Skill,让 Agent 知道常用方法 |
| 分析经验(Experiential Analysis Context) | 实际试过的方法、证据、取舍与限制 | 曾排查活动入口资格而调整分母的案例,让接手者理解当时怎么判断 |
前两类比较容易被辨识成「应该整理的知识」,第三类则常常只留下交付物,其余散落在代码、聊天纪录和分析师脑中。
但「团队知道什么」,跟「团队曾经经历过什么」,提供的帮助其实不太一样。
团队做过,不代表团队里的人都能接着做
比如做活动参与分析,团队有活动埋点、参与率指标,也有整理好的活动分析方法,Agent 已经可以开始工作。
但上次分析同类活动时,我们可能先怀疑奖励吸引力不足,拆了几轮用户后,才发现部分新用户根本还没解锁活动入口。最后调整分母,才把「能参加但没参加」和「根本不能参加」分开。
交付的报告可能只留下调整后的参与率和分母定义。这很正常,报告是拿来支持决策的,主管也不一定想陪我们重走一次心路历程。
但对下一位分析师或 Agent 而言,中间那段经验很有用:遇到参与率偏低,可以先检查参与资格,再决定要不要往奖励设计下钻。
但下一次参与率偏低,也不代表又是资格问题。得知道当时比较了哪些人、看了哪些证据,才能判断这次哪些可以参考、哪些得重新验证。
现在这些经验的取得方式,常常是「我记得某某之前做过,你去问他」。新人得先知道要问谁,资深同事则得不断回忆并重讲一次(做过一次分析,附赠不限次数的售后服务)。
有些经验还不足以写成通用规则,但可以先连同条件、证据与走不通的方向保存成案例。让同事找到后能理解当时的选择,从已经验证过的位置继续分析,这些经验才比较有机会在团队里流通。
Agent 也是一样。只有 Schema 和 Skill,它知道数据怎么查、方法怎么用;再取得团队做过的案例,才有机会参考我们怎么排查、在哪里存疑、根据什么收敛。遇到情境差异时,也能提出更具体的问题。
我期待的「像团队成员一样分析」,就是能参考团队的历史经验,判断这次怎么接着做,并把新的发现留下来。
问题一直都在,AI 改变的是留下经验的成本
没有 AI 的时候,我们也知道应该写注释、整理 Notebook、留下口径和决策纪录。
只是当下正忙着拆问题、查异常,停下来整理会打断心流;等交付后再补,很多细节又已经忘了。最后常常是「有空再整理」,但下一个 deadline 已经在等了。
分析师得自己组织文字、找对应的 SQL 和结果,成本当下就得付,收益却可能几个月后才出现在另一位同事身上。大家知道有价值,也很难持续做。
与 Agent 协作后,有一个条件变了:它本来就在参与分析。
方法怎么调整、查询跑出了什么、哪些假设没有得到支持,很多信息已经出现在协作过程里。每完成一个阶段,就可以让它整理刚刚确认的决策、连上对应证据,再由我审阅。
我需要做的工作,天然就包含:「当下确认哪些值得留下、记得对不对」,那既然已经做了这个判断,不如在同一个时刻直接结构化记录下来,省得事后重新整理整段分析。
这也是我在 Lantide Data 里持续做的事:让分析交付物与形成它的过程一起保存,保留问题、计划、证据与判断之间的关系,让后续的人与 Agent 有脉络可以接手。
没说出口的判断仍然得补上,整理的内容也得确认,总不能让它把猜测写得很漂亮,我们就当成团队经验传下去。
对我来说,AI 带来的改变,是让这些过去很难持续整理的经验,有机会以合理的成本留下来。先让团队成员接住彼此的工作,再让 Agent 透过同一套脉络,参与团队的分析。
延伸阅读
在 Lantide Data 中试用这套分析工作方式:下载 Lantide Data。