Overview

• Bullshit =ウンコな議論 (山形浩生さんの訳)とは、哲学者のフランクファートが著書 “On Bullshit” (日本語版『ウンコな議論』)で提唱した概念。
• 「嘘をつく」人は何が真実かを意識しているのに対して、「ウンコな議論」をふっかける人は、真実が何か、自分が正しいかどうかはどうでもよく、聞き手を感化し、説得することにのみ、興味がある。
• ChatGPTを含むLLMは、生成される文章のそれっぽさを最大化し、人と話しているかのように信じさせるように設計されているだけで、正しい内容を生成するようには設計されていない = ChatGPTは「ウンコ論者」である。

Abstract

Recently, there has been considerable interest in large language models: machine learning systems which produce human- like text and dialogue. Applications of these systems have been plagued by persistent inaccuracies in their output; these are often called “AI hallucinations”. We argue that these falsehoods, and the overall activity of large language models, is better understood as bullshit in the sense explored by Frankfurt (On Bullshit, Princeton, 2005): the models are in an important way indifferent to the truth of their outputs. We distinguish two ways in which the models can be said to be bullshitters, and argue that they clearly meet at least one of these definitions. We further argue that describing AI misrepresentations as bullshit is both a more useful and more accurate way of predicting and discussing the behaviour of these systems.

Motivation

• ChatGPTを含む、LLMはハルシネーション(幻覚)する、嘘を言うなどといわれるが本当にそうか。より正しい捉え方があるのでは。
• 「LLMをどういうものとして捉えるか」は、その後の社会実装や政策とも密接に関わってくる。正しい、より真実に即したLLMの位置付けを模索する必要あり。
• 本稿は、現在のLLM全体に対する考察で、特にChatGPTに限ったものではないが、簡単のためChatGPTと表記することにする。

主張

• 端的にいうと、ChatGPTは 「Bullshitter=ウンコ論者」であり、無自覚にChatGPTを利用する人も「ウンコ論者」たり得る。
• Bullshit =ウンコな議論 (山形浩生さんが訳した言葉)とは、ハリー哲学者のフランクファートが著書 “On Bullshit” (日本語版『ウンコな議論』)で提唱した概念。On Bullshitは、元々1986年の著作だが、2005年に再出版されてベストセラーになった。
• 「嘘をつく」人は何が真実かを意識しているのに対して、「ウンコな議論」をふっかける人は、真実が何か、自分が正しいかどうかはどうでもよく、聞き手を感化し、説得することにのみ、興味がある。近年では、トランプ元大統領の言動を説明する文脈などで使われる概念。

• ChatGPTは、大量のテキストに含まれる言葉の連なりのパターンを学習。生成されるテキストのもっともらしさを最大化するように学習が進むように設計されている。が、そもそも事実、真実に即したテキストを生成するようには設計されていない。
• ただし、インターネット上に存在する人が書いたテキストには真実、事実も多分に含んでいるので、それを学習したChatGPTは真実に即したテキスト「も」生成するようになる。
• 「ウンコな議論」も通常は単なるデタラメよりは真実を含んでいる (そうじゃないと誰も聞いてくれないですよね)。
• したがって、ChatGPTは必然的に「ウンコな議論」をするウンコ論者である。

• そもそもChatGPTが「「嘘をつく」「ハルシネーションする=幻覚をみる」というのは間違っている
• 真実を意識しないことには嘘をつけないのに対して、そもそもChatGPTは真実、事実に注意を払うように設計されていない
• ハルシネーション・幻覚とは一般的でない知覚体験を持つことだが、ChatGPTはそもそも何かを「知覚」しているわけではない。ハルシネーションという言葉は、ChatGPTの不用意な擬人化につながる上に、責任の所在を曖昧にする (「AIがハルシネーションしたから」というのが、AI開発者の安易な言い訳に)。また、ハルシネーションするという言葉の言外には、「通常は事実に即したことを言う」という前提があるが、そんなものは存在しない。ChatGTPにとってはハルシネーションも通常の動作も差がない。
• Bullshitには二種類ある。両者とも真実、事実への無関心さは共通。
• Hard Bullshit - 聞き手を感化し、説得・騙すことに意識的
• Soft Bullshit - 聞き手がどう捉えるかは意識しない。
• ChatGPTが、Soft bullshitter (事実に対して無関心)だとして、hard bullshitter (受け取る側を騙す意図を持つ)と言えるか
• ChatGPTは、あたかも人と話しているかのように感じさせる = 騙すように設計されている。
• 私たちはChatGPTが事実に対して無関心であることを知りながら、ChatGPTを使ってそれっぽい文章や資料を作ったりしている。

→ ChatGPTそのものも、その利用者としての私たちも、Hard Bullshitterたりえる。

• 論文内では、ChatGPTにAgency (主体性)を見出すべきか (ChatGPTがBullshitter vs その設計者がBullshitter) などの議論がなされているが、ここでは省略。詳しくは論文をどうぞ。

Further Thoughts

• “On Bullshit”は、トランプ元大統領が落選、議会の占拠を煽った際の解説で目にして、購入。読まないまま積読になっていたのだが、こんなところでまた目にするとは思っても見なかった。
• ChatGPTの振る舞いなどを考察するのに、しっくりくる表現だと感じた。どうLLMを捉えるか、どういうものとして社会に位置付けるか、その印象、イメージが重要だという著者のスタンスに共感。
• Bullshitを「ウンコな議論」と訳す山形さんは流石だな…　期待したほど売れなかったらしい…

Links

論文はこちらから

『ウンコな議論』 ハリー・G・フランクファート (著), 山形 浩生 (翻訳)

ウンコな議論 (ちくま学芸文庫 フ 37-1)

Amazonでハリー・G・フランクファート, 山形 浩生のウンコな議論 (ちくま学芸文庫 フ 37-1)。アマゾンならポイント還元本が多数。ハリー・G・フランクファート, 山形 浩生作品ほか、お急ぎ便対象商品は当日お届けも可能。またウンコな議論 (ちくま学芸文庫 フ 37-1)もアマゾン配送商品なら通常配送無料。

amzn.to