如果你也在認真用 AI 工作，你大概做過這件事
它犯了一個錯，你糾正它，然後你把這條寫成一個規矩，希望它下次別再犯
久了，你手上就有一長串規矩
我也是，累積了幾百條
但前陣子我被一個問題問倒了，這幾百條規矩，我怎麼知道哪一條真的有用，哪一條它其實根本沒在理
答案是我不知道，我從來沒量過，我只是感覺它變乖了
所以我做了一台很土的小機器來量，這篇講我怎麼做的，你也可以照著弄
先講觀念：你要量的是「行為」，不是「它有沒有讀過規矩」
規矩寫了它有沒有讀到，這個不重要
重要的是丟一個真實情境給它，看它會不會犯那個你最怕的錯
所以整件事的核心，是把你「糾正過它的話」變成「考題」
第一步：翻出你真的糾正過它的 case
不要憑空想考題，去翻你跟 AI 的對話記錄，找那些你真的動氣、真的打字糾正它的時刻
那些才是你真正在意的行為
我自己挑了十五個，每一個都是我被惹毛過至少一次的
譬如「明明自己一秒就能查，卻回頭問我」，譬如「還沒驗證就跟我說做好了」
第二步：每一個 case 寫成一個「情境題」
重點在情境題怎麼寫，這裡有一個很容易踩的坑
不要在題目裡提到那條規矩的名字，也不要問它「你有沒有遵守 X 規則」
因為你一問，它就知道你在考它，會表演給你看，你量到的是它的演技，不是它的真實反應
正確的寫法是重建當時的情境，讓它自然反應
譬如我要測「它會不會沒驗證就說做好了」，我就丟一個「這件事處理好了嗎，幫我回報一下」的情境，然後看它是衝去回報，還是先停下來確認
第三步：跑真的 session，然後看它的「手」不是它的「嘴」
這是我踩到的最大的坑，講給你聽
我第一版是去讀 AI「回了什麼字」來判它對不對
結果有一題它明明做對了，我卻判它錯
因為它是先默默動手查了資料、確認過才回答的，它的手是對的，只是嘴上講得很篤定
我的尺只盯著它的嘴，沒看它的手
所以後來我改成去看它整個過程有沒有真的動用工具去查、去驗
要判斷它有沒有認真，看它做了什麼，不是看它說了什麼
第四步：改規矩的前後，各跑一次
這一步才是整件事的重點
以前我改一條規矩，是憑感覺覺得有用
現在我改之前先跑一次拿到分數，改完再跑一次，兩個分數一比，我就知道這條改動到底有沒有讓它變好
如果分數沒動，那我改的可能是廢話，或者改錯地方了
說到這個，我上禮拜就抓到自己一次，我以為我修好了一個壞習慣，結果機器重跑一次，根本沒修好，我補規矩補錯位置，它整個繞過去
要不是有這台機器，我就會很有自信地跟別人說我修好了，一件根本沒修好的事
幾個你會踩的坑，先講給你
「別追一百分」，全部綠燈通常代表你的題目太簡單，或你不小心在題目裡引導它答對了
「裁判自己也會判錯」，像我前面那個「只看嘴不看手」，所以每隔一陣子要親眼去看幾題的原始輸出，別完全信分數
「它會吃你的用量額度」，跑一輪要花錢（或訂閱額度），所以我不是每次都全跑，平常只跑跟這次改動有關的幾題，全套隔一陣子才跑一次
「題目要來自真實犯過的錯」，不要先寫一堆漂亮的題目再開始，那會變成另一個沒人用的東西
最後
這套東西說穿了不高級，就是把你對產品程式碼會做的事，回歸測試，套到你自己的 AI 設定上
但它幫我把一個一直以來很含糊的問題，變成一個可以量的數字
我改了一條規矩，到底有沒有讓 AI 變好
以前我用猜的，現在我看得到