我們如何用 80 萬篇資料集驗證模型｜ByWHOO 技術摘要

我們為何要做這件事

2025 年 10 月，有感於市面上 AI 辨識工具多為英語設計且門檻高昂，「AI 落地辦公室」與國立臺灣大學資訊管理學系師生決定共同研發。團隊從測試現有模型出發，將研究室的學術成果轉化為任何人都能上手的互動體驗。

模型構成邏輯

ByWHOO 的偵測不依賴單一分數，而是把判斷拆成可解釋的維度：困惑度（用詞的可預測程度）、結構平整度（句長與節奏的均勻程度）、公式化轉折用語（「值得注意的是」「總體而言」這類 AI 高頻詞的密度），再輔以雙模型交叉比對——用兩個語言模型對同一篇文章的「意外程度」做對照，作為跨領域情境下的穩定訊號。多種方法並行，讓單一指標失效時仍有其他證據可依。

驗證的維度與結果

偵測準確率只是其中一個維度。我們同時測量誤判率（把人寫的判成 AI）、跨領域泛化能力（在訓練資料沒見過的文類上表現如何），以及模型面對「人工修改過的 AI 文章」時的穩定性。80 萬篇繁體中文語料的規模，讓這些量測有了統計上的意義。

為什麼堅持方法論透明

AI 辨識天生是機率性的判斷，沒有工具能保證 100% 正確。我們能做的，是把每一個分數背後的計算方式攤開來，讓使用者知道系統「為什麼這樣判」，也讓學術圈和媒體有可檢驗、可引述的具體流程。這是我們對外公開技術摘要的原因。