與 AI 協作分析 · 7/7
一份越容易讓人理解的分析報告,有時反而越難讓人從中學習。
我們習慣把分析成果整理成清楚的結論,卻也可能因此隱藏了那些讓我們改變判斷的過程。
當分析過程中的 context 逐步收斂後,還有一個接續問題:當分析跨過不同 session、換人或換 Agent 接手時,工作區應該留下什麼?以及後來者如何理解這些分析資產。
最近我在 Lantide 做了一套 Change Context。發想的起點來自 Delta Lake 的 transaction log,我想保存的,是分析判斷如何改變。
文件版本都在,不代表判斷的轉折也在
假設團隊在分析活動後的留存下降,最初懷疑是活動品質出了問題。
幾輪查詢後,發現這期多了一批來自新渠道的用戶。重新分群、確認觀察期後,看到各群體的留存沒有明顯惡化,整體下降更可能與用戶組成改變有關,因此暫時不再把活動品質當成主要解釋。
最後的 Report 可能只留下整理好的結論。
原始資料沒變,SQL 可能只多了幾個分群條件,但我們對問題的理解已經變了。如果下一個 Agent 只讀最新版,它知道我們目前怎麼解釋,卻未必知道原本懷疑過什麼、哪些結果讓我們改變方向,以及這個判斷還有哪些限制。
即使保留所有文件版本,也還得有人從差異中還原這段過程。(看得出第二段整段重寫了,但我當時到底發現了什麼?)
這也是我覺得分析經驗很難只靠「保存最後答案」累積的原因。後續工作需要知道,我們為什麼走到了這裡。
從 Delta Lake 借來的視角
想到這裡,我聯想到 Delta Lake:其 transaction log 記錄正式變更,搭配 checkpoint 可重建資料快照。這個區分目前狀態與提交歷史的視角,成為我設計分析工作區的靈感。Delta Lake 協議:Delta Log Entries。
分析工作區是不是也能借用這個思路?
先提供一份目前狀態的索引,再保留有順序的正式變更。接手的 Agent 可以先定位相關資產;回來繼續工作的 Agent,也能從上次的位置往後看,知道哪些地方需要重讀。
但分析多了一個問題:檔案差異通常不足以說明判斷的變化。
「更新 Report 第二節」只告訴我們改了哪裡。「分群結果顯示下降主要與用戶組成有關,因此調整原先對活動品質的懷疑」,才留下了這次修改的分析意義。
因此我讓 Agent 在正式修改 Plan、Report、Reference 等資產時,同一次提交幾件事:
- 這次改變了什麼分析判斷?
- 為什麼改?
- 當時依據的是哪份、哪個版本的證據?
內容修改和這些背景一起留下來。因為修改當下,相關討論與證據通常還在 context 裡;等下一個 Agent 看著成品回推,就又變成考古了。
Git 已能保存版本,為什麼還需要 Change Context?
Git 當然也能記錄版本、追蹤修改,甚至透過 commit message 保存原因。但它主要處理的是檔案版本,分析判斷與證據的留存仍需要額外建立慣例或流程。我想要的不是另一套版本控制,而是「分析脈絡的自然累積」:讓分析思路、判斷變化與證據引用,直接融入工作區的正式資產修改,盡可能不增加分析師額外留痕的負擔。
不知道原因,就不要替歷史補上一個理由
這套設計裡,我特別保留了一個選項:unknown。
例如有人把留存觀察窗從 14 天改成 30 天,卻沒有寫原因。後來的 Agent 也許能推導出「為了觀察長期效果」,或「因為樣本成熟度不足」。
都很合理,但合理不代表那就是當時的理由。
如果順手把它補進記錄,下次再被引用時,這個猜測可能就變成了團隊的既有知識。(它只是想幫忙把故事補完整,結果幫我們補了一段虛構歷史)。
所以原因沒留下,就明確記錄不知道。Agent 有提供理由,也要保留它的來源與確認狀態:資產已經修改、理由已經寫入,並不等於這段解讀已經被人確認。
這也是 transaction 類比需要暫停的地方。系統可以檢查版本、引用與提交是否完成,卻不能因此保證分析理由正確。
同樣地,Change Context 只捕捉正式進入工作區的修改及其當時留下的背景。尚未寫入資產的探索,不會自動成為這份歷史;它也不是 Agent 每一步 thinking 的完整備份。
Change Context 也不是所有資產歷史正文的永久版本庫。它保留正式變更事件、版本識別與當時留下的語義;歷史正文不可取得或捕捉範圍有缺口時,需要明確揭露,不能因為有一筆修改記錄,就承諾一定能還原舊文件。
這就像在分析資產之間,建立起一張可追溯的「思維路網」:我們目前主張什麼、哪些判斷改變過、當時留下了哪些依據,以及哪些地方仍然不知道。
這些資訊留下來,下一個人或 Agent 才有機會接著驗證、質疑,或在新證據出現時重新打開一條曾經停止的分析路徑。
延伸閱讀
在 Lantide Data 中試用這套分析工作方式:下載 Lantide Data。