不要迷信 skill

你是不是也覺得網路上分享的 skill（給 AI 用的「外掛說明書」），沒有別人分享的那麼好用？

我今天遇到的案例可能有些幫助。

先說結論：看到別人分享的 skill，不要直接裝——請 /skill-creator 幫你裝，它會順便驗證這個 skill 在你的情境下到底有沒有幫助。

——

我在實驗一個 Google 工程師寫的 skill — Google Workspace CLI 專案（Google 自家給工程師用的命令列工具）裡的 gws-forms（專門操作 Google 表單的那一組）。看起來有公信力，但實驗跑出來的結果讓我多看了一眼。

有 skill 的版本：通過率 94.1% 沒有 skill 的版本：通過率 96.9%

裝了 skill，反而錯更多。

這是對同一批任務，「用 skill 的 AI」對上「沒有 skill 的 AI」的真實比較，不是捏造的數字。

——

為什麼？

skill 裡有 bug。Google Forms 的 API（程式之間溝通的窗口）有些選項，skill 沒寫到。

一個例子：Google Forms API 預設是直接 published（公開的）。要不公開，要在建立時多帶一個參數 unpublished=true，但 skill 沒提到這件事，AI 就用預設值——使用者明明說「先不要發佈」，AI 還是建出一個已發佈的 form。

沒有 skill 的版本？它沒有說明書，就直接問 API 有哪些參數，從規格書裡看到了 unpublished 這個選項，就用對了。靠現場偵測補上了那份漏寫的說明書。

其他還有三個類似的 bug：欄位寫法過時、JSON 格式不對、處理資料的邏輯算錯——全都是因為 skill 是當初寫好之後就沒再更新。

這些問題，沒有 skill 的版本靠現場偵測大多繞過去了。

——

看到有用的 skill，不要直接裝。請 /skill-creator 幫你安裝。

/skill-creator 裝的時候會順便跑實驗，然後在你的瀏覽器打開 http://localhost:3117/，直接告訴你有 skill 跟沒有 skill 的差別在哪、哪些任務有改善、哪些反而退步。你確認沒問題，它才算安裝完成。

如果 skill 有問題，它會根據實驗結果幫你迭代修改，再重跑一次，直到這個 skill 在你的使用情境下真的比沒有 skill 更好。

修掉那些 bug 之後，再跑一次：

有 skill 的版本：通過率 97%，平均 127.6 秒 沒有 skill 的版本：通過率 97%，平均 167.2 秒

正確率追平了，但 skill 版本快了將近 40 秒。

所以 skill 現在的作用，純粹是省時間。要不要裝，就看你有沒有需要每次省下那幾十秒。

我自己的結論：決定不裝。省下的時間不夠抵掉之後要管理、更新、維護這個 skill 的麻煩。

——

這個實驗結果來自「gws-forms 這類 CLI 操作手冊型的 skill」。

gws-forms 本質上是在教 AI 怎麼下指令——而這些指令的最新資訊，AI 自己問 API 就拿得到，skill 反而容易過期或漏寫，價值就有限。

但 best practice 型的 skill 不一樣，例如教 AI 怎麼設計畫面、怎麼跑流程那種——AI 自己摸不出來，skill 有不可取代的價值。同樣跑 /skill-creator 驗證，結果可能完全相反。

所以裝不裝沒有通則，要看 skill 的類型。不確定的話，就多燒一點 token，用 /skill-creator 跑個實驗買個保障吧。

——

skill 是死的，但我們的使用情境不是。

Google 員工寫的 skill 對他自己的任務可能剛好夠用，或是在分享的當下適用，但等我們看到、想拿來用的時候，可能早就過期了。多做驗證這一步，能省下之後反覆修改的麻煩。

每當新的模型推出時，也最好請 /skill-creator 重新驗證一次。

同一個 skill 在新模型上的表現可能完全不同。

——

skill 是要被驗證的，不應該是信仰。