AI 試點結束後一定要做的復盤:4 個問題就夠
試點跑完了,報表交了,大家鬆了一口氣。
但試點結束不等於專案結束。如果你沒有在記憶還新鮮的時候做一次正式復盤,下一次試點你會犯一模一樣的錯——而且不會有人記得上次錯在哪。
復盤不需要豪華的簡報,也不需要三小時的會議。四個問題,一張紙的結論,就夠了。
問題一:我們設定的 KPI 達成了嗎?
不要用「感覺不錯」「團隊反應正面」這種話來回答。
翻出試點啟動時寫下的 KPI,逐項對數字:
- 處理量是多少?目標是多少?
- 錯誤率多少?比基線降了多少?
- 節省的工時,有沒有實際換算成成本?
達成了就說達成,沒達成就說沒達成。不用加但書。如果當初沒有設定可量化的 KPI,那這本身就是第一個要記取的教訓——下次試點,先寫清楚你要衡量什麼。
問題二:流程在試點期間穩定嗎?
AI 上線後,流程是不是比之前更順?還是你反而需要更多人工介入?
具體看這幾件事:
- 有沒有異常中斷或需要人工接手的次數?
- 這些介入是預期中的(例如邊界案例),還是系統性的不穩定?
- 人工介入的成本,有沒有吃掉 AI 帶來的效率增益?
如果試點期間人工介入次數異常多,那不是「磨合期正常現象」,是流程設計有問題。穩定性是擴大規模的前提,不穩定就不能放大。
問題三:Review 的品質夠嗎?
AI 產出的東西,誰在看?看的人有沒有真的攔截到問題?
Review 機制不是裝飾品。你需要確認:
- Review owner 是不是實際攔截過錯誤?如果整個試點期間一次都沒攔到,要嘛品質真的完美(機率很低),要嘛 review 流程形同虛設。
- 被攔截的問題是什麼類型?是理解錯誤、格式問題、還是事實錯誤?分類之後才知道要調哪裡。
- Review 本身的工時成本是多少?如果 review 花的時間跟人工做差不多,那 AI 的價值就要重新評估。
好的 review 機制會越來越輕。如果試點結束 review 負擔沒有下降,流程設計需要調整。
問題四:如果要擴大,第一件要改的是什麼?
只挑一件事。
不是因為只有一個問題,而是因為資源有限,你必須排序。問團隊:如果明天要把這個 AI 流程從 10% 擴展到 50% 的業務量,最卡的那一點是什麼?
可能的答案:
- 資料品質不夠,AI 吃不到正確的輸入
- Review 流程太重,擴大後人力撐不住
- 某個邊界案例沒處理好,放量後會變成主要問題
- 團隊對工具的信任度不夠,使用率偏低
只改一件事,改完再跑下一輪試點。不要試圖一次修十個問題,那只會讓你不知道哪個修改有效。
復盤的產出:一張紙的結論
復盤結束後,產出不是一份二十頁的報告。是一張紙,包含:
- KPI 達成與否(數字)
- 流程穩定度評估(穩定/不穩定,關鍵事件)
- Review 攔截了什麼、沒攔截什麼
- 下一步:只改一件事
超過一張紙就是太囉嗦。如果你寫不出一張紙,代表你對試點的理解還不夠清楚,那更需要回去把數字補齊。
結語
復盤是給下一次試點用的。
不做復盤,每次試點都是第一次。你會重複踩同樣的坑,花同樣的時間摸索,團隊也會對「又來一個 AI 專案」失去耐心。
花三十分鐘,四個問題,一張紙。這是投資報酬率最高的三十分鐘。