Pangram 崛起成為 AI 檢測黃金標準：我們應該信任它嗎？

認識這群能決定出版界及其他行業職業生涯的 AI 警察。

Pangram 是一家擁有 24 名員工的 AI 初創公司，總部位於布魯克林一家 Popeyes 炸雞店上方。至今它已籌集了 1,300 萬美元——大約是 OpenAI 資金的 0.0072%——而且在今年早些時候幾乎無人知曉。但如果相信 Pangram 的說法，它是阻止機器全面接管文字創作的唯一力量。

Pangram 承諾能檢測出任何給定文本中 AI 參與生成的程度，並以「最佳猜測百分比」來呈現（當然，這也是利用 AI 來完成的）。今年 1 月，Reddit 和 YouTube 上流傳著關於作家 Mia Ballard 可能使用 AI 撰寫《Shy Girl》的猜測，這是一本被 Hachette 出版社選中進行傳統出版的自出版小說。儘管 Ballard 予以否認，但 Pangram 的執行長在 X 上發帖稱該書有 78% 是由 AI 生成的。Hachette 隨後取消了該書的發行。

接踵而來的是一連串類似的指控。《The New York Times》因刊登了一篇 AI 生成的《Modern Love》專欄文章而被點名，Pangram 評分為 100%。接著是英聯邦短篇小說獎（Commonwealth Short Story Prize）的一名獲獎者（100%）、小說《Daggermouth》（60%），以及一部以 240 萬美元售出的驚悚片《Call Me, I’ll Hide the Body》（97%）。7 月底，Substack 宣布將 Pangram 整合到其平台中，以便讀者快速判斷可能的 AI 使用情況。

並非所有作家都認為這是件好事。「人們對 AI 檢測軟件感到非常厭惡和憤怒，」作家兼出版專家 Jane Friedman 說。「有一種感覺是，他們即使不比 AI 公司本身更邪惡，也同樣邪惡。」在出版界和高等教育界之外，Pangram 還不是一個家喻戶曉的名字，但我懷疑它即將成為；區分大型語言模型（LLM）產出的內容與人類寫作的需求與日俱增。現在要問的問題是：這家公司有多值得信任？

Max Spero 是 Pangram 30 歲的聯合創辦人兼執行長，他透過手機撥入我們的 Google Meet，一手拿著外賣盒，背景是摩天大樓。他穿著米色 T 恤，留著短黑髮，表情孩子氣，笑容燦爛。他說他正趕著回家吃午餐，稍後會再回電。十分鐘後，Spero 重新出現在他布魯克林的公寓裡。他說他整個早上都在打招聘電話。7 月，Pangram 籌集了 900 萬美元，並宣布推出其最新模型 Pangram 4。該公司的網站列出了六個新職位空缺，這將使員工人數增加 25%。

我問 Spero 在加州長大的經歷，這是一個輕鬆的問題，卻讓他顯得明顯不自在。討論 Pangram 技術的細微差別對他來說比回答個人問題——或談論公司參與文學醜聞——更自然。Spero 吃了一口飯，說他在洛杉磯郊區的 La Crescenta 長大。他熱愛編程，並加入了學校的機器人團隊。在 Stanford 讀本科時，他遇到了後來的 Pangram 聯合創辦人 Bradley Emi。（我多次發送郵件請求採訪 Emi，但都被該公司的公關團隊忽略了。）畢業後，Spero 去了 Google，在那裡從事 FLoC 的研發，這是一項旨在通過按興趣對 Chrome 用戶進行分組來取代第三方 Cookie 的技術。（Google 在該產品遭遇隱私擔憂後於 2022 年取消了 FLoC。）Spero 後來在自動駕駛汽車公司 Nuro 工作，而 Emi 則先後任職於 Tesla 和 AI 生物技術公司 Absci。在 ChatGPT 於 2022 年推出後，兩人看到了應對充滿 AI 內容的未來的商業機會。2023 年，他們創立了 Checkfor.ai，一年後更名為 Pangram。到那時，至少有十幾家其他公司擠進了檢測領域，包括 Originality.ai、GPTZero 和 Turnitin；Pangram 在一些早期的獨立測試中表現出色，脫穎而出成為領先者。

隨著採訪的進行，Spero 的回答顯得斷斷續續，並不只是因為他在吃東西。我問他的招聘理念。Spero 咕噥了一聲「嗯」，然後轉過身去微波他的食物，沒有道歉。漫長的 15 秒在沉默中度過。他終於再次面對我說：「在 Pangram 的普通員工是因為他們關心這個使命。」

為了檢測 AI，Pangram 使用了一種稱為「合成鏡像」（synthetic mirroring）的方法，即獲取人類的寫作內容，並讓 LLM 生成一個接近的匹配項。這教會了它的模型 AI 是如何寫作的。Pangram 還使用「硬負採樣」（hard negative mining），在數據集中搜索誤報（false positives），以便對其進行合成鏡像並用於擴充其訓練集——利用錯誤來重新訓練機器。「我們所有的數據集都經過適當授權，我認為這在當今的 AI 世界中相當罕見，」Spero 說，儘管這部分是因為 Pangram 的產品對數據的需求遠低於 ChatGPT 或 Claude。「我不想完全把 AI 公司推向絕路，」他補充道，「但我認為他們已經失去了很多信任，特別是在創意領域。」今天，Pangram 為多個行業提供服務，包括教育、法律領域和招聘，但創意寫作構成了訓練文本中最大的部分。

《Shy Girl》的故事讓 Pangram 名聲大噪。Spero 已經一直在他的社交帳號上點名疑似 AI 寫作的內容，因此當他在 1 月份被標記在一個 Reddit 帖子中並隨後收到 Ballard 手稿的 PDF 時，這並不令人意外。「我把它放進 [Pangram]，我發布了結果，然後後來《The New York Times》要求我發表評論，」他說。「我認為人們誇大了 Pangram 在《Shy Girl》事件中的重要性。」只不過，事情的經過並不完全是那樣。就像一場 AI 醜聞的傳聲筒遊戲，是 Pangram 的一名客戶經理與一位出版業分析師討論了這個故事，後者轉而將其告知了《The New York Times》。

另一個轉折：Pangram 的批評者，包括調查項目 The Drey Dossier，指出 Spero 的手稿副本來自一個盜版網站。當我問 Spero 這一點時，他說：「是的。而且，就像，是的……事實就是這樣。我沒有看得很仔細。我沒有讀完整個 PDF。我直接把它放進了 Pangram。」

從那以後，Pangram 並沒有迴避爭議。在英聯邦短篇小說獎獲獎者返回了很高的 Pangram 分數後，該公司分析了自 2012 年以來的每一位獲獎者，指出了另外三個潛在的 AI 使用案例。儘管如此，Spero 仍淡化了 Pangram 的影響，特別是對被取消的圖書合約的影響。「基本上，據我所知，對於每一份圖書合約，這其實並不是關於 Pangram 的分數，」他說。「那是其中的一部分，但如果你與任何相關人員交談，它只是大局中很小很小的一部分。」

我們轉向 Pangram 與 Substack 的整合。「人們不應該害怕披露這一點，因為你的作品應該憑藉其品質以及人們想要閱讀的東西而獨立存在，無論……」Spero 欲言又止。「嗯，我該怎麼表達呢？」他停頓了一下。「我想我……噢，我知道我那天說了什麼。」他恢復了信心，語速加快。「如果你作品的價值取決於欺騙終端用戶，讓他們認為這不是由 AI 寫的，那麼」——他再次猶豫——「那將會是一個問題。」（後來，我意識到他的語調發生了變化，因為他在引用自己在 X 上的貼文。）

Substack 不願確認其 Pangram 合作夥伴結構的任何細節，也不願透露 Substack 是否按每次掃描向該公司付費。「Substack 的哲學並非反 AI，」一位代表告訴我。「我們只是認為你應該知道自己正在消費什麼。」一些作者持謹慎態度。一位作者告訴我，有一種感覺是，點擊一個按鈕就可以摧毀整個職業生涯。

圖書出版業是一個以緩慢著稱的行業，在應對 AI 方面尤其緩慢。儘管如此，現實是越來越多的作者、出版商和經紀人正在使用 AI。去年，Gotham Ghostwriters 對 1,481 名在職作家進行了民意調查，發現 61% 的人使用 AI 工具，7% 的人表示他們發布過 AI 生成的文本。當 Stony Brook University 計算機科學助理教授 Tuhin Chakrabarty 今年早些時候使用 Pangram 分析 14,419 本自出版小說時，他發現近 20% 的小說具有實質性的 AI 檢測分數。他的工作論文被廣泛引用，而這些數據正是《Daggermouth》指控的原始來源。

我聯繫了五大出版商，詢問他們是否使用 AI 檢測。Simon & Schuster 和 HarperCollins 拒絕置評；Hachette 和 Macmillan 沒有回應。Penguin Random House 的發言人證實，其編輯可能會使用經批准的 AI 檢測工具「作為識別潛在 AI 生成內容的一種額外手段」，但此類工具「並非決定性的，僅是更廣泛編輯過程的一個組成部分」。一些經紀人也在使用檢測——對於每一宗公開處決的圖書合約，其他的合約正在台下被悄悄終止。「通常情況下，經紀人什麼都不說，」Friedman 說。

我想聽聽 Chakrabarty 的觀點。他最初是在 2024 年底從 Spero 的一條貼文中聽說 Pangram 的。在他註冊後，Spero 給他發送了 API 點數。Chakrabarty 告訴我，兩人自此成為「密友」，Pangram 繼續為 Chakrabarty 提供點數以支持他的研究。Chakrabarty 在社交媒體上發布 Pangram 的結果，並定期為該公司辯護。他說他已經與出版商會面，討論 AI 醜聞之後的檢測問題。「Pangram 不應該是事實上的評判標準，」他說。「但我認為你自己的判斷力加上 Pangram 的判斷是不會錯的。」

Chakrabarty 還與紐約頂級文學經紀公司 Aevitas 的聯合執行長 Todd Shuster 有交往。Chakrabarty 鼓勵 Shuster 與 Pangram 會面。「它立刻成為一個非常有用的工具，」Shuster 告訴我。「我們馬上就不得不開始與作者進行艱難的對話，因為 Pangram 顯示他們的作品有 50% 到 95% 是由 AI 撰寫的。」Shuster 現在使用 Pangram 來分析手稿和圖書提案。他還擔任 Pangram 的顧問，職責包括引薦 Pangram 與出版商認識。當作者被對質時，Shuster 說有些人會表現出防禦性或似乎在撒謊，而另一些人則對他們使用 AI 的情況很坦誠。Shuster 說他曾要求作者用自己的聲音和想法重寫作品。

批評者指出 Pangram 存在兩個主要問題：誤報造成的損害，以及其機器學習中內置的潛在偏見。「我不認為 [AI 檢測器] 有效，」Edinburgh Napier University 批判性 AI 素養教授 Sam Illingworth 說。「我認為檢測器對某些人存有偏見。」一項研究顯示，檢測器更有可能將非母語英語作家的作品識別為 AI 生成，神經多樣性作家也聲稱他們的寫作模式被不成比例地標記。（該研究早於 Pangram 出現，Spero 指出內部研究對此進行了反駁。）前面提到的三本小說——《Shy Girl》、《Daggermouth》和《Call Me》，無疑是出版界最大的 AI 檢測醜聞——都是由有色人種作家撰寫的。（我聯繫了這些作者；兩位沒有回應，一位以法律疑慮為由拒絕置評。）「作為一名非裔美國經紀人，我確實認為我們真的需要關注行業內的一些不平等現象，」美國文學經紀人協會主席 Regina Brooks 說。誰的作品被掃描，誰被公開指控，畢竟是一個本質上的人為過程——因此容易受到偏見的影響。

在某些作家聲稱其作品被錯誤標記為 AI 生成的案例中，Spero 提供了現金獎勵，如果他們能證明是自己寫的。「在幾乎可以肯定對方在撒謊的情況下，我提供了賞金，」他說。「或者，如果他們沒有撒謊，那麼對我們來說，了解這一點非常有價值。」他說，到目前為止，還沒有人領取過。

「當然，你可以愚弄 Pangram，」Chakrabarty 說。一些作家調整了文本或模仿 AI 的寫作方式以引發錯誤結果。Notre Dame 大學一篇題為《為什麼 AI 檢測在學術誠信方面失敗》的新工作論文指出，Pangram 的 3.2 模型在 64% 到 80% 的時間裡將學術摘要上的輕微 AI 編輯標記為 AI 寫作。然而，在將 AI 生成的文本通過「人性化工具」（humanizer）——一種使 AI 作品看起來更像人類的工具——處理後，Pangram 捕捉到 AI 寫作的機率不到 4%。

Pangram 確實披露其工具在較短的文本塊上表現較差，特別是任何低於 100 字的內容。考慮到 Pangram 的免費服務每天提供有限數量的點數，總計約 2,000 字，這是一個複雜的問題。中位數輸入為 350 字。該公司還承認，同一段落根據是單獨掃描還是在較大的上下文中掃描，可能會得到不同的結論——這正是如果從小說中複製粘貼短段落時可能發生的情況。

總而言之，Pangram 聲稱其新模型的誤報率僅為 0.0041%（較之前報告的 0.01% 有所改進）。Spero 說，如果說有什麼不同，那就是 Pangram 是保守的。如果文本處於邊界線上，該工具會傾向於宣布它是人類撰寫的。「這是我們做出的一個刻意選擇，」Spero 說。這在一定程度上是低誤報率的原因——也意味著 AI 生成的作品更有可能逃過檢測。根據 Pangram 的衡量標準，被 AI 大量重寫的人類文章仍有 41.37% 的時間被檢測為人類撰寫。

在我們的採訪中，Spero 拉出了幾個社交貼文來闡明他想表達的觀點，並以極快的速度將它們粘貼在我們的聊天中，以至於我懷疑他是否在後台運行著自己的 AI 系統。

據記者兼 Pangram 前承包商 Rod Breslau 稱，Spero「整天親自上線。他會回覆你的推文；他會回覆你在 Reddit 上的貼文。他可能還會回覆你在 LinkedIn 上的貼文。」Breslau 在年初首次聯繫 Spero，提議擔任「攻擊犬」。他厭倦了看到 AI 內容充斥社交媒體。Breslau 為 Pangram 做的承包工作包括諮詢其社交媒體策略並為 Spero 爭取採訪機會，但他也會帶著 Pangram 擴展程序瀏覽互聯網，公開點名疑似 AI 用戶。「我想採取更嚴厲的方法，因為我認為人們太容易脫身了，」Breslau 說。

Pangram 與 Breslau 分道揚鑣的部分原因是它改變了策略——該公司現在預測 AI 的使用將變得更容易被接受。Spero 似乎對追捕任何使用 AI 的人失去了興趣，但他表示，在作家具有「欺騙性」的情況下，他會直言不諱。他補充說，Pangram 很快就能標記出即使是用於輕微編輯的 AI 實例。「這就是路線圖，」Spero 說。「更高的粒度，更好的細節，為終端用戶提供更多信息。」據我所知，Pangram 最終希望成為每個領域——出版商、學校以及其他所有人——的原創性評判者。

目前，Spero 的小團隊包括前教育工作者和一名出版業專業人士。（Pangram 的發言人還指出，一名研究人員擁有英國文學學位。）有跡象表明被指控的作者正在醞釀誹謗訴訟，但當被問及任何訴訟時，Spero 說：「我不相信有任何事情發生。」他計劃繼續發布關於 Pangram 模型和訓練的技術報告。「其他所有人都有點像黑盒子，所以我認為我們這裡的策略真的只是通過透明度建立信任，盡可能開放，並盡可能多地與在線社區互動。」

隨著我們的談話結束，我回想起 Spero 的表現似乎並非 100% 投入。甚至有些閃爍其詞。他在整個採訪過程中在公寓裡走來走去。他帶著筆記本電腦坐在客廳附近，然後搬到一扇堆滿室內植物的窗戶旁，接著又換到廚房的另一個角落。有幾次，他的臉漂浮在畫面之外的一半。他戴上耳機，然後又摘下來。有一次，在討論模型訓練時，他輕輕地打了一個嗝。

我沒料到會這樣。他是因為太忙太累了嗎？他沒有認真對待我嗎？鋪天蓋地的媒體報導是否讓採訪變得索然無味——或者令人煩惱？最後，我可以做出假設，但從一小時的互動中，任何人能確定的事情也就這麼多。Pangram 旨在從一段交流中提取所有的細微差別、變量和未知數，並返回一個數字。當然，人類遠比這一切要模糊得多。