ELIZA(6)第2の論文:機械が「理解」するということ

論文 "Contextual Understanding by Computers" を読む


2019/11/11
藤田昭人


ようやく話が Joseph Weizenbaum に戻ってきました。

本稿では Joseph Weizenbaum の ELIZA を扱った2本目の論文 "Contextual Understanding by Computers" を取り上げます。 原文は
https://www.inbot.com.br/chatbots/eliza/contextual-understanding-by-computers-Weizenbaum-1967.pdf
で読めますが、 下記に僕のへっぽこ翻訳を用意しました。

akito-fujita.hatenablog.com

彼の1本目の論文 "ELIZA -- A Computer Program For the Study of Natural Language Communication Between Man And Machine" が主に ELIZA の実装方法を解説した情報工学寄りのテクニカルな論文であったのに対し、 2本目である本論文はタイトルの「コンピュータによるコンテキストの理解」が示すようにもう少し抽象的な内容が扱われています。

論文の背景

以前の記事 で Weizenbaum は 1963 年にMITに任期1年の客員教授として招かれ、翌1964年には職を得ました。 そもそも彼が MIT にやって来た本来の理由は Multics の開発だったことなどを紹介しました。

彼はその後の4〜5年のあいだに ELIZA を開発し、1966年には第1論文、1967年には第2論文 と論文を二つも書いた訳です。これは、少なくとも彼の上司である Project Mac のMIT側の責任者であった Robert Fano には願ってもない研究成果だったようです。 1967年のIEEEの国際会議での講演において、彼は Weizenbaum と ELIZA を次のように紹介しています。

One can also envision programs that can acquire knowledge from people by conversing with them, and build automatically a model of the reality which is being described. The record of a conversation with a program developed by Professor J. Weizenbaum of M.I.T. is shown in Fig. 3. The man's typing is in lower case and the computer's replies are in upper case. The important points to observe are that the information is provided in arbitrary order and in a relatively free format and that the program can make non-trivial inferences from the available information and generate reasonable conjectures in the absence of complete information. The program is being instructed in the way that people like to instruct other people that is by making statements and answering questions. Programs with such capabilities are essential if computer systems are to act as skillful and knowledgeable assistants to a man; convenient facilities must be available for the man to provide instructions about matters of particular interest to him.

また、人々と会話することで人々から知識を獲得できるプログラムを想像し、記述されている現実のモデルを自動的に構築することができます。 M.I.T.のJ.ワイゼンバウム教授によって開発されたプログラムとの会話録を図3 *1に示します。 人間のタイピングは小文字で、コンピューターの応答は大文字です。 観察する重要なポイントは、情報が任意の順序で比較的自由な形式で提供され、プログラムが利用可能な情報から重要な推論を行い、完全な情報がない場合に合理的な推測を生成できることです。 このプログラムは、人々が他の人々に指示したい方法で指示されています。つまり、声明を出し質問に答えることです。 このような機能を備えたプログラムは、コンピューターシステムが人間の熟練した知識豊富なアシスタントとして機能する場合に不可欠です。人間が特に関心のある事項について指示を与えるために、便利な施設が利用可能でなければなりません。

「背景」とお断りしてますので、少し裏の事情を語っておきますと…

Unix考古学』の読者の方々はご存知のとおり、この時期、Project Mac の目玉であった Multics の開発は暗礁に乗り上げていました。 当初の開発計画からの遅延が明らかになり始めておりMulticsの開発責任者であった Fernando J. Corbató 以下、開発スタッフはピンチに追い込まれていました。 特に Project Mac が始動した1年後の1964年に始まったカルフォルニア大学バークレイ分校(UCB)の Project Genie は、この1967年に Scientific Data Systems のコンピュータ SDS 940 のOSとして商用化に漕ぎ着けましたので、 彼らに追い抜かれてしまったことは明らかでした *2。 おそらく当時 Fano は学内で Multics の代わりに一般に紹介できる研究成果を探していたであろうことは容易に想像できます。

また、先日公開した SFとAIのトピックの年表 にも書きましたが、この前年の1966年には、 それまでの人工知能の主要研究テーマだった機械翻訳研究への大変な懐疑を提起した ALPAC リポートが出されています。 つまり、下世話な言い方をすると 1967 年頃、OSとAIを2本柱とする Project Mac は総崩れの状況に瀕していたようにも想像できます。 その危機的な状況を救ったのが Weizenbaum の ELIZA だったと邪推することもできる状況だったようです *3

ちなみに スタンリー・キューブリック の 「2001年宇宙の旅」 は翌年の1968年に公開されています。みなさんご存知のとおり、恐るべき人工知能 HAL 9000 が登場する映画です。この映画もその後の社会に大きな影響を与え続けています。

このようにして当時の(第1次)AIブームは対話システムを軸に再燃したのだろうなぁ…と僕は考えています。

論文の内容

このように、1960年代も今日に匹敵するようなAIブームが起こっていたことはご理解いただけたかと思いますが、 このような喧騒の中にあって、隔絶されているかのように冷静さを保っていたひとりが、 その開発者である Weizenbaum だったように思います。

そもそも Multics がもたらすであろう(当時としては最先端であった)対話式コンピューティングの効果的なデモンストレーションを考えていた Weizenbaum は、 その当時、院生だった Daniel G. Bobrow の博士号論文のテーマだった STUDENT からインスパイアされ、 Carl Rogersクライアント中心療法 の会話をシミュレートしたのが ELIZA だった訳です。 それは Weizenbaum が ELIZA を「クライアント中心療法のパロディー」と明言していたことからも明らかでしょう。 もちろん、自身が人工知能の研究者だとも考えてなかったのではないでしょうか?

ところが、1964年〜1965年あたりに世俗的な雑誌 *4で紹介されたことから「風変わりなゲーム」として口コミで広がって 人気を博しブームとなる予想外の展開が待ってました。 Weizenbaum はブームの沈静化を望んでいたように思います。 それは第1論文の次の書き出しからも窺い知れます。

It is said that to explain is to explain away. This maxim is nowhere so well fulfilled as in the area of computer programming, especially in what is called heuristic programming and artificial intelligence. For in those realms machines are made to behave in wondrous ways, often sufficient to dazzle even the most experienced observer. But once a particular program is unmasked, once its inner workings are explained in language sufficiently plain to induce understanding, its magic crumbles away; it stands revealed as a mere collection of procedures, each quite comprehensible. The observer says to himself "I could have written that". With that thought he moves the program in question from the shelf marked "intelligent" to that reserved for curios, fit to be discussed only with people less enlightened that he.

説明とは上手に釈明することだと言われています。この格言は、コンピュータ・プログラミングの分野、特に発見的プログラミングや人工知能と呼ばれる領域では全く達成されていません。その領域では、マシンは驚異的な方法で動作し、しばしば最も経験豊富な観察者でさえも十分に驚嘆させます。しかし、一旦、特定のプログラムの仮面が剥がされて、その内部の仕組みへの理解を促すのに十分な説明される(それぞれはかなり分かりやすい手順を単に掻き集めたものであることを明らかにする)と、その魔法は消滅します。説明を受けた人は「私でも書けるかもしれない」と呟きます。問題のプログラムを「知的」と記された棚から珍しいものの棚に移して、まだ知らされていない人とだけ議論する事を願います。

…にも関わらず、ブームは沈静化するどころか、ますます加熱していったようです。 こういった経緯であったとかんがえると、第2論文では、もっとハッキリした口調でプログラムに出来ることと出来ないことを説明しようとした事が読み取れるように僕は思います。

この論文、見出しがなくて非常に読みずらいのですが、概ね次のような事が書かれています。

  • はじめに
  • オリジナルのELIZAについて
  • 会話の構造
    • 会話ツリー
    • 会話ツリーとアベルソンの信念構造
    • 機械が「理解」するということ
    • ELIZA による会話構造の再現
  • 新しいELIZAについて
  • 対話システムの応用について
  • 参考となる先行研究事例
  • 参考文献

ここでは「オリジナルのELIZAは理解していないことを隠蔽しようとしていたのだ」と明確に主張してます。 ELIZAを対話フレームワークとしてはそれなりに有効であることは認めてますが、 一般が期待しているような「機械が人間の言葉を理解する」レベルには「現在の技術では達してない」とし、 Kenneth Colby の「実際の患者に対する心理療法ツールとしての提案」には「時期早々」として真っ向から反対しています *5

機械が「理解」するということ

第2論文のハイライトは次の箇所になるのだと僕は思います。

This issue must be confronted if there is to be any agreement as to what machine "understanding" might mean. What the above argument is intended to make clear is that it is too much to insist that a machine understands a sentence (or a symphony or a poem) only if that sentence invokes the same imagery in the machine as was present in the speaker of the sentence at the time he uttered it. For by that criterion no human understands any other human. Yet, we agree that humans do understand one another to within acceptable tolerances. The operative word is "acceptable" for it implies purpose. When, therefore, we speak of a machine understanding, we must mean understanding as limited by some objective. He who asserts that there are certain ideas no machines will ever understand can mean at most that the machine will not understand these ideas tolerably well because they relate to objectives that are, in his judgement, inappropriate with respect to machines. Of course, the machine can still deal with such ideas symbolically, i.e., in ways which are reflections -- however pale -- of the ways organisms for which such objectives are appropriate deal with them. In such eases the machine is no more handicapped than I am, being a man, in trying to understand, say, female jealousy.

機械の「理解」が何を意味するかについて合意がある場合、この問題に対処する必要があります。 上記の議論が明らかにしようとしているのは、その文が発声した時点でその文の話者に存在していたものと同じイメージをその機械が呼び出す場合にのみ、その機械が文章(あるいはシンフォニーや詩)を理解すると主張するのは言い過ぎであるということです。 というのは、この基準では人間も他の人間を理解していないからです。 しかし、人間は許容範囲内で互いを理解しているということには同意します。 最適な言葉で表現すると、それが意味ある目的に達するために「許容できる」というものです。 したがって、機械的理解とは、ある目的によって制限された理解を意味しなければならないのです。 「機械には理解できないアイデアがある」と主張する人物は、せいぜい、機械に関してこれらのアイデアが、その人物の判断では不適切である目標に関連しているため、機械がこれらのアイデアを許容できるほど(そのアイデアを)よく理解していないことを意味します。 もちろん、機械はこのような考えを象徴的に扱うことができます。 すなわち、たとえそのような目的が適切であっても、生物がその考えをどのように扱っているかを(たとえどんなに青ざめるものであっても)反映しているのです。 このように緩めて考えると、機械は私と同じように、男性であること、たとえば女性の嫉妬を理解しようとすることにおいて、障害を持つことはありません。

この Weizenbaum の指摘は今日でも正しいようにように思います。

特に「機械には理解できないアイデアがある」と言う件について、 それを主張する人間が「機械がこれらのアイデアを許容できるほど(そのアイデアを)よく理解しない」と言う指摘はもっともです。 どんなアイデアも正確に言語化できなければコミュニケーションとして成立しません。

この指摘を僕なりに解釈してみると… 例えば、絵画を見て「美しい」と主張している人に「何故、美しいのですか?」と質問しても、 その人から論理的に破綻のない完璧な答えは得られないでしょう。 何故ならそれは、その人は絵画を美しいと「感じている」からなのですから。 それでは機械には(人間であっても)その人の美しいというイメージを直接感じることは出来ません。 結果、他者には「彼女にはこれが美しいのだ」と象徴的に扱うしか無くなります。

それから、僕が思う第2論文における Weizenbaum の結論は論文の途中の不思議なところに現れます。 前述の Fano の講演内容とは対照的な慎重な物言いです。

I call attention to this contextual matter once more to underline the thesis that, while a computer program that "understands" natural language in the most general sense is for the present beyond our means, the granting of even a quite broad contextual framework allows us to construct practical language recognition procedures.

このコンテキストに関わる問題についてもう一度注意を喚起し、次の命題を強調します。 最も一般的な意味で自然言語を「理解」するコンピュータープログラムは、現時点では私たちには手に負えませんが、 非常に広範なコンテキスト・フレームワークさえも付与すれば、実用的な言語の認識手順を構築することができます。

ひょっとしたら、当初はこの部分が論文の最後だったのかもしれませんね。 Fano の講演内容と齟齬のないように、末尾にあれこれと継ぎ足すことになった…などと、これまた僕は邪推したくなってしまうのです。

おわりに

結局 Weizenbaum はこの第2論文を最後に ELIZA を扱った論文を書くことをやめてしまい、 1972年にサバティカルを得るまで、研究者としては沈黙を守ります。 そして 1976 年に例の人工知能研究を強力に批判する "Computer Power and Human Reason" を出版することになるのですが、これについては後日ゆっくりと紹介したいと思います。

以上

*1:ここで登場する図3は第2論文に掲載されてる数式評価器の会話録です。 DOCTORとは異なる応答をしていることから、少なくとも第2のスクリプトが存在していたと想像していたのですが… こちらの方はあまり有名ではありません。

*2:このProject Genieに学生バイトとして参加していた Ken Thompson が卒業後は AT&T に就職し、Multics のベル研側の開発スタッフとなるのですから皮肉なもんです。

*3:邪推ついでに、さらに下世話なことを書いておくと…

事情通の方々はよくご存知のとおり、この時期のMITではOSとAIの研究者が反目していたことは有名です。 そんなところでOSグループの新参者である Weizenbaum がよりによってAI分野で名をあげてしまって、 学外では人工知能研究の第一人者として認知された訳ですから、 なかなか面倒くさい状況であった事は容易に想像がつきます。

この時期、John McCarthy はスタンフォードに戻り LISP2 の開発プロジェクトに取り組んでいたはずですが、 これまた日の目を見なかった(?)プロジェクトです。 ELIZAとLISP2、さらにCMU音声認識プロジェクトを年表ベースで付き合わせると何か見えてくるかも?

ちなみに僕も個人的には McCarthy も憧れの人なんですが、 Weizenbaum を主役にしたストーリーでは彼は悪役にせざる得ないので…あしからず。

*4:雑誌「プレイボーイ」だったと推測して散々探しているのですが、 該当記事が見つからないので、あるいは別の雑誌だったかもしれません。

*5:これが Colby との反目へと続いていく訳ですが、 それはいずれ書く予定です