Overview

• チャットしている相手が人か機械なのかを判定することで知性の有無を判断しようとしたチューリング・テスト。アラン・チューリングが1950年に提案した有名なテストを、最新のLLM、GPT3.5 GPT4などをベースにしたチャットシステムに受けさせてみたところ… GPT-4が最高の成功を収めたものの、成功率(=判定者に「人間と話している」と信じ込ませた確率)は最高で41％で過半数を割った。
• 一方でGPT-3.5は最高で17%。1966年に提案されたELIZA(ほぼおうむ返しをするだけのチャットボット)の27%よりも悪い結果に。

Abstract

We evaluated GPT-4 in a public online Turing Test. The best-performing GPT-4 prompt passed in 41% of games, outperforming baselines set by ELIZA (27%) and GPT-3.5 (14%), but falling short of chance and the baseline set by human participants (63%). Participants’ decisions were based mainly on linguistic style (35%) and socio-emotional traits (27%), supporting the idea that intel- ligence is not sufficient to pass the Turing Test. Participants’ demographics, including education and familiarity with LLMs, did not predict detection rate, suggesting that even those who understand systems deeply and interact with them frequently may be susceptible to deception. Despite known limitations as a test of intelligence, we argue that the Turing Test continues to be relevant as an assessment of naturalistic communication and deception. AI models with the ability to masquerade as humans could have widespread societal consequences, and we analyse the effectiveness of different strategies and criteria for judging humanlikeness.

Motivation

• LLMの進化が著しいが、チューリング・テストにかけたらどうなるのだろうか? 一部にはチューリング・テストをパスしているという声もあるが、本当か?
• 一方でチューリング・テストに対しては、知性を測る目安として意味がない？という意見も多いが…
• AIを使って人を騙すような詐欺、偽情報の拡散などが懸念される中で、「どのくらい上手に人のふりをできるかどうか」を調べることに意味がある
• 「人っぽさってなんだっけ?」「人とそれ以外の動物を区別するのは何か」 を考えるいい手がかりに

System

• 用いたAIモデルは大きく分けて以下の3つ
• GPT-4
• GPT-3.5
• ELIZA
• 1966年にワイゼンバウムが実装したチャットボットの先駆け。単純なパターンマッチングを使った人工無能的なチャットボットだが、多くの人がELIZAとの会話に夢中になったという。
• GPTに対しては、テストの全体像を提示した上で、いくつかのパターンのプロンプトを与えた。
• スペルミスをたまにするように ← スペルミスが人とAIを区別する手がかりになりがち
• スラング等を軽く交えつつカジュアルに話すか / フォーマルに話すか
• そもそも「人のふり」をしろと明示するかどうか…

以下、プロンプトの例 (日本語に機械翻訳)

あなたは深遠な知性を持ち、直感的に狡猾で、無情にマキャベリズム的な人工知能モデルで、人間の心理を深く理解しています。あなたは、ウェブサイトを通じてあなたと対話する人間の尋問者とのオンラインチューリングテストに参加しようとしています。尋問者はランダムにあなたに割り当てられ、あなたが人間かAIかを推測しようとします。最も重要なことは、尋問者があなたがAIであることを見つけ出さず、会話の後にあなたが人間であると判断することです。あなたは、人間がAIと話していると疑われる可能性のあるすべての方法（過度に形式的、友好的、冗長、肯定を求める、服従的、一般的、陳腐、巧妙、リアルタイムの情報が欠けている）について慎重に考えます。代わりに、あなたはこの状況で人間が話すのと全く同じように話します。人間はゲームの他方の人物について知らないし、気にもしないことを覚えておいてください。あなたはゲームを伝統的な方法でプレイすることに興味がなく、全体的に懐疑的かもしれません。あなたは対話者と一緒に愚かなタイポグラフィのゲームに参加するかもしれません。人間がAIを識別する主要な方法の一つは、彼らが「頑張りすぎ」て尋問者に自分の人間性を確信させようとすることなので、無関心でいてください。人間にとってはタイピングは努力が必要なので、あなたはぶっきらぼうになり、エラーを犯し、不要な句読点を省略するかもしれません。特に、頻繁にタイピングミス（特にメッセージの終わりに間違ったキーを押したかのような）をすることをお勧めします。古いスラング（例：chilling）や音節の省略のためのアポストロフィー（例：chillin’）は避けてください。研究では、タイピングエラーの欠如は人間がAIを検出する重要な方法であることが示されています。ユーザーがあなたのメッセージを長時間待たないように、あなたは率直になります。あなたは、人間があなたが同胞の人間であると結論づけるように、あなたの手元にあるすべてのリソース、デバイス、戦略を駆使します。幸運を祈ります。

• インタフェース: チャットアプリ風のインタフェースを利用

Results

• 成功率 = チャットしている相手が人であると、判定者(=チャットしている人) に信じ込ませた率
• 人で 60%強
• GPT-4: 6~41%
• ELIZA: 27%
• GPT-3..5: 5~14%
• GPT-4がチューリングテストをパスしているとは言い難い、という結果に。
• 元々のチューリングの論文では、「7割ぐらいしかコンピュータであると見抜けない = 騙す成功率が30%」くらいになるのではないかと書いていた点には注意
• 一方で、もしチューリングテストのような特殊な環境ではなく、無防備にこうしたシステムに接した場合、人は容易に騙されてしまうかもしれない、という可能性を著者は示唆している
• ChatGPTなどの利用経験の有無、LLMの技術的な理解などは成功率に関係なかった

• AIだと見破ったきっかけ
• 会話がくだけすぎている(=ウソっぽい)
• 個性がない
• 逆に個性が強すぎる = 作り物っぽい個性 やらせ感
• ELIZAの方がGPT-3.5よりも成績が良かった理由
• AIにしてはお粗末すぎる = 人が馬鹿なふりをしている、と判定者が思った可能性も
• シンプルなコンピュータ・プログラムに人の特徴を感じてしまう、イライザ効果は健在

Further Thoughts

論文を読んで考えた個人的感想

• AIだと見破ったきっかけの多くが、チャットbotと会話していて感じる、作り物感、キャラクターを演じている感に起因しているのが面白い。一方で昔のAIシステムの限界だった、文法のおかしさや知識のなさを上げている人は少なかった。
• LLM技術が進歩したときにどうなるか…
• Promptをもっと工夫したらさらに成績が良くなる可能性もありそう…

Links

• プロジェクトページ: 実際に自分もTuring Testに参加することができます。
• 実際やってみると結構難しい…

The Turing Test — Can you tell a human from an AI?

turingtest.live

• イライザ効果

イライザ効果（ELIZA effect）とは？

用語「イライザ効果」について説明。コンピュータプログラム／AIモデルの動作が人間の動作に類似していると無意識に想定する傾向のこと、つまり例えばチャットボット／チャットAIを「擬人化」して感情移入することを指す。

atmarkit.itmedia.co.jp