AIM-291-McCarthy: AN UNREASONABLE BOOK

以下は DARPA が 1970 年代に記録したドキュメント Three Reviews of J. Weizenbaum's COMPUTER POWER AND HUMAN REASON に収録されている３番目の書評です。 このドキュメントは An Unreasonable Book (13-Jun-2000) でも公開されています。

以下のレビューは、Creative Computer誌およびSIGART News Letter誌に掲載された。

理不尽な本

Joseph Weizenbaum,
Computer Power and Human Reason,
W.H. Freeman Co., San Francisco 1975

この道徳主義的で支離滅裂な本は、 ルイス・マンフォード、セオドア・ロザック、ジャック・エルールらが推進する、 科学が人間と世界に対する不道徳な見方をもたらしたという見解を支持するために、 コンピューター科学とテクノロジーを例証として用いている。 ある種の研究が、世界と人間についての「猥褻」な図式に基づくものであったり、 そのような図式を生み出す可能性があるのであれば、 それを行うべきではないという主張には、私は恐怖を覚える。 さらに悪いことに、この本の「猥褻」という概念は、 活動家の官僚による恣意的な解釈を許すほど曖昧である。


彼が本当は何を信じているのかを理解するのは難しい

ワイゼンバウムのスタイルは、極端な発言をし、後に矛盾する発言で修飾する。 したがって、ほとんどすべての引用は文脈から外れており、彼の主張を正確に要約することは難しい。

以下の文章はその難しさを物語っている：

「1935年、（イギリスの化学者であり科学哲学者であった）マイケル・ポランニーは、ロシア共産党を代表する理論家の一人であるニコライ・ブハーリンにこう言われた。「社会主義のもとでは、それ自身のために追求される科学という概念は消え去り、科学者たちの興味は自発的に現在の5カ年計画の問題に向かうだろう」と。ポランニーは当時「科学的展望は、人間と歴史について機械的な概念を生み出しているように見え、そこには科学それ自体の居場所はない」と感じていた。そしてさらに「この観念は、思考に内在するいかなる力も完全に否定し、その結果、思考の自由を主張するいかなる根拠も否定したのである！」 -- １ページ。ワイゼンバウムは思想と科学の自由を支持し、それらに対する脅威を懸念している。しかし265ページには　

「そのスローガンを自分勝手な目的のために利用するために、"それ自身のための知識" を喧伝し続ける科学者は、科学と知識を現実世界との接触から切り離している」。ここでワイゼンバウムは、純粋科学、すなわち好奇心だけを動機とする研究に反対しているようだ。また「ごく少数の例外を除いて、20年以上にわたる人工知能の研究から、一般に産業界、特にコンピュータ産業界にもたらされた成果はない」 -- 229ページ。これもまた、科学の検証には産業界での成果が必要であることを示唆している。

「科学はマンパワーを約束した。しかし、人々が力の約束に誘惑されるときによく起こるように、実際に支払われる代償は隷属と無力である」。これは本のジャケットに書かれている。おそらく出版社は、この本の主旨をよく要約していると考えているのだろう。

「以下では、人間を情報処理装置として見ることに何の問題もないと主張し、 それを理解しようとすることにも問題ない。 ただし、１つの視点だけで全体の人間を理解できると考えて行動しない限り」 -- 140ページ 私たちは確かにそう考えることができる。が…

「科学への際限のない貪欲さによって、 私たちは科学に依存するようになった、 しかし、他の多くの薬物と同じように、 科学は徐々に緩やかに作用する毒に変わってきた。 緩やかに作用する毒に変わってしまった」 -- 13ページ これらは次のように引用されているが…

「私は科学技術の合理的な利用を主張する、 その神秘化ではなく、 それを放棄することは言うに及ばず」 -- 256ページ

組換えＤＮＡを使った特定の実験が危険であるとして、 モラトリアム（一時停止）を提案したことについては、 「彼らの提案は確かに正しい方向への一歩であり、 そのイニシアチブは称賛に値する。それにしても、 なぜ自分たちが推奨していることに理由をつけなければならないのだろうか？ 科学者を含む人間には、 すべてをモノとして扱うという狂気から生命そのものを免除するという至上命題がある。 なぜ説明する必要があるのか？ 最も善意ある人々の最も崇高な行為でさえ、 現代の腐敗した価値観の風潮に毒されているように見える。」 ワイゼンバウムはすべての実験生物学、 あるいはDNAを使ったすべての実験に反対なのだろうか？ この引用からそう結論づけるのはためらわれる。 彼は他のどこかで正反対のことを言っているかもしれない。 ワイゼンバウムの目標である、 理由を説明する必要すらなく研究の一線を断念させるというのは、 大衆のヒステリーと官僚の権力が結びついた雰囲気でなければ達成できそうにない。 これは、宗教的熱狂の状況下、ナチス・ドイツ、 スターリン主義のロシア、 「文化大革命」の中国で起こったことである。 おそらくアメリカでは起こらないだろう。

「自分が誰であり、 何であるかを知っている者は、 自分が何をすべきかを問う必要はない」 -- 273ページ 読者に断言しておくが、この本の中には、 この尊大さを解釈する方法は何もない。 私は、彼の 糾弾に理由をつけなければならない という束縛から解放されたいという、 別の願いだと受け止めている。

このような大言壮語的な戒律の危険性は、 特定のケースに適用するために神権を必要とすることであり、 神権を持つ可能性のある人物の周りには、 すぐに神権者が集まってくる。 その結果、人は何か具体的なことをしたのではなく、 その人のありのままの姿で攻撃されることになる。 『Ms.』の1976年4月号には、 「ゴミ捨て」に関する記事の中で、 このことを痛烈に示している。

「一人の人間として扱われない限り、個人は非人間化される」 -- 266ページ。 これもまた、エンカウンターグループ運動のように司祭の解釈の対象となる。

「最初の（コンピュータ・アプリケーションの）類いは、 単に猥褻と呼ぶべきものだ。 これは、文明人なら誰もが嫌悪感を抱くようなものである。 先に述べた、 動物の視覚システムと脳をコンピューターに導くという提案はその一例である。 これは生命そのものへの攻撃である。 提案者たちの生命に対する認識、 ひいては自分たちが生命の連続体の一部であるという認識に、 何が起こったのだろうか」 答えになりそうな議論は提示されていないし、 受け入れられるかどうかの基準を定義しようともしていない。 ワイゼンバウムとこの本を賞賛した科学者たちは、 この本が抑圧的に使われることに驚くかもしれない。 しかし、 彼らはこの本の中の全く反対の感情を持つ箇所を指摘することができるだろうから、 抑圧は彼らの責任ではないだろう。


しかし、ここで要約してみよう：

これらの矛盾した文章が示すように、 ワイゼンバウムの立場を判断するのは容易ではないが、 以下の点がこの本の要点のようだ：

1. コンピュータは人間ほど強力に思考することはできない。

これは、コンピュータ科学者による楽観的すぎる予測の引用や、 非言語的な人間のコミュニケーションの例を挙げることで裏付けられている。 しかし、ワイゼンバウムは、 コンピューターが実行できない具体的なタスクを挙げていない。 それは「コンピューターが、今ここで、あるいは将来にわたって、 何ができ、何ができないかについての目録を作るという、 不必要で、際限がなく、究極的には不毛な作業を避けたいから」である。 また、人間の推論と機械の推論は比べるべくもなく、 人間の推論には人間の感覚的経験が不可欠であるとも述べている。

2. コンピューターのプログラムに実行させるべきではない仕事がある。

ワイゼンバウムがまったくすべきでないと考えている仕事もある。 ほとんどは新左翼の理由からだ。 彼の政治性には異論があるだろうし、 私もそう思うが、明らかにコンピューターは、 すべきでないことをすべきでない。 しかし、ワイゼンバウムは動物の脳をコンピューターに接続することや、 コンピューターによる精神医学的面接にも異議を唱えている。 前者については、 彼が反生体解剖主義者であるかどうかはわからなかったが、 「不快」と呼ぶには、さらに理由があるようだ。 コンピューターが精神医学的面接を行うことへの反対には、 コンピューターが必ず悪いことをするという確信以上の要素もある。 精神科医がセラピストとして、 自分自身を治療者として行動する人間としてではなく、 規則などに従う情報処理装置として見るとき、 患者に対する精神科医のイメージはどのようなものになるのだろうか。 これは、科学が復活したときに出てきた、 人体を解剖することに対するルネサンス時代の宗教的反対意見に似ているような気がする。 ローマ法王たちでさえ、 科学的あるいは医学的な目的のために身体を機械とみなすことは、 魂の神殿とみなすこととまったく両立するものだと、 最終的には自分たちを納得させた。 最近では、 科学的あるいは精神医学的な目的のために 精神的なメカニズムを研究することについても、 同様の見解が示されている。

3. 科学は人々を世界と生命に対する間違った見方に導いた。

その見方は機械論的であり、時計仕掛けの例が挙げられている。 (コンピュータ科学者がこのような例を挙げるのは奇妙に思えるが、 旧来の機械論的モデルに対するコンピュータ・モデルの進歩は、 コンピュータには意思決定ができ、 時計仕掛けには意思決定ができないということだからである） どうやら、生命システムを 相互に作用する部分から構成されるものとして分析することは、 分析せず全体として扱うことよりも悪いようだ。

4. 科学は、信頼できる一般的知識の唯一の、あるいは主要な情報源ではない。

しかし、彼は他の知識源を提案したり、 科学的知見の限界を述べたりはしない、 ある考えを「猥褻」であるとする以外は。

5. 特定の人々や機関が攻撃されている。

これには「国防」省（おっと）、 Psychology Today、 New York Times Data Bank、 強迫的なコンピュータープログラマー、 Kenneth Colby、 Marvin Minsky、 Roger Schank、 Allen Newell、 Herbert Simon、 J.W. Forrester、 Edward Fredkin、 B.F. Skinner、 Warren McCulloch（年をとるまで）、 ラプラス、 そしてライプニッツが含まれる。

6. ある種の政治的、社会的見解が当然視されている。

米国のベトナム政策は「殺人的」であったという見方は、 （「合理性」とは対照的な）「論理性」に対する攻撃や、 「遅効性の毒」としての科学に対する見方を支持するために使われている。 「民衆の自家用車への渇望が培われ、 ついには病みつきになったのかもしれない。」(p.30) は、心理学的、社会学的、政治学的、技術的な予想をワンフレーズで行っている。 同様に、「その代わりに、真に安全な自動車、まともなテレビ、万人向けのまともな住宅、快適で、安全で、広く行き渡った大量輸送機関を持つことを選択することもできる」 という言葉は、これらのものが何であるか、 何が技術的に実現可能であるか、 政策を変更した場合にどのような効果があるか、 人々の嗜好を変えることを目的としたどのような活動が 政府にとって許されるかについて、 幅広い合意を前提としている。


イライザの事例

本書で最も興味深いのは、 ロジャー流非指示的心理療法をパロディにした彼自身のプログラム「ELIZA」の説明と、 それに知性や人格をどのように当てはめている人がいるかについての逸話であろう。 私見だが、アルゴリズムという概念を理解していない人が、 コンピュータが人間の推論と同じように計算すると想像するのはごく自然なことだ。 これは、正確な計算が正しい推論を伴うという考えや、 コンピュータの誤作動が人間の神経症や精神病に類似しているという考えにさえつながる。 実際、前提条件から興味深い結論を導き出すようにコンピュータをプログラミングすることは非常に難しく、 限られた成功例しかない。 しかし、このような自然な誤解がもたらす影響は誇張されるべきではない。 特に、ある経営幹部がミスを犯したときに、 コンピューターに過度の信頼を置いていたと言い訳するような場合には、 ある種の懐疑的な見方が必要である。

この関連ではコルビー（1973）の研究が興味深いが、以下は私の解釈である。 コルビーは、精神科医にテレタイプ回線を使って患者と面接させ、 さらに妄想症患者をシミュレートする彼の PARRY プログラムとも面接させた。 他の精神科医に、そのインタビューが人間によるものなのかプログラムによるものなのかを、 その記録から判断するよう求めたところ、彼らは偶然に勝るとも劣らない結果を得た。 しかし PARRY は最も単純な因果関係の推論ができないので、 「あなたの後をつけている人たちがマフィアだとどうしてわかるのですか」と尋ねて、 「イタリア人に似ている」という答えが返ってきたら、 これは PARRY ではなく人間に違いない。 不思議なことに、 人間の知的な面よりも感情的な面を模倣する方が （精神科医を騙すのに十分なほど）簡単なのである。 おそらく被験者たちは、 機械がより論理的な能力を持っていると期待し、 その期待が彼らのミスにつながったのだろう。 残念なことに、ACM（Association for Computing Machinery） の名簿から無作為に選んだものでも、 それ以上の結果は得られなかった。

ELIZAとPARRYが示しているのは、 精神科医を含め、 人々はしばしばわずかな証拠で結論を出さなければならず、 それゆえに簡単に騙されてしまうということだけであるように 私には思える。 もし私の考えが正しければ、 二つの指示文があれば、 もっとうまくやれるだろう。

1966年のELIZAに関する論文（引用者注：1965年）の中で、 ワイゼンバウムは次のように書いている。 「拡張版ELIZAプログラムの１つの目標は、このように、 現実世界のある側面に関する情報の蓄積にすでにアクセスできるシステムであり、 人々との会話による相互作用によって、 そのシステムが知っていること、 すなわち情報検索システムとして動作すること、 そしてその知識がどこで終わり、 どこを拡張する必要があるのかを明らかにできることである。 うまくいけば、 知識の増強もまた、 会話経験の直接的な結果となるだろう。 そのようなプログラムが多くの人々と会話し、 彼ら一人ひとりから何かを学ぶという見通しこそが、 興味深い、 さらには有用な会話のパートナーになるという希望につながるのだ」 彼がこの目標を成功させられなかったのは残念だ。 成功するためには、 この本で紹介されている以上に、 形式化について理解している必要があったと思う。


彼はコンピュータについて何を述べているのだろうか？

ワイゼンバウムの主な結論は科学一般に関するものであり、 道徳主義的な性格を帯びているが、 コンピュータ科学とＡＩに関する彼の発言にはコメントする価値のあるものがある。

  1. 彼は、コンピューターは人間の経験を持つことができないので、 人間を理解することはできないと結論づけた。 これには３つの反論がある。 第一に、人間はお互いの経験を共有し、 機械や動物の経験は限られた範囲でしか共有できない。 特に、男性と女性では経験が異なる。 とはいえ、文学の世界では、 優れた作家が、同性の下手な作家よりも、 異性の経験をより深く理解していることはよくあることだ。 第二に、経験という概念はよく理解されていない。 もしこの概念をもっとよく理解していれば、 通常人間に限定される疑似経験や代理的経験を機械が持ちうるかどうかを推論できるだろう。 第三に、理解するということが何を意味するのかがよく理解されていないので、 機械が何かを理解するかどうかをどう定義すればいいのかがまだわからない。

  2. 人工知能を批判した先人たち、 タウベ、ドレイファス、ライトヒルと同様、ワイゼンバウムもせっかちで、 ２０年経っても問題が解決しないなら、それはあきらめる時だとほのめかす。 遺伝学は、メンデルからタンパク質の遺伝暗号ができるまで約1世紀かかったが、 知性と行動の遺伝学と進化を完全に理解するまでには、まだ長い道のりがある。 人工知能も同様に難しいかもしれない。 機械が人間レベルの知能に到達するのはいつかという質問に対する私の現在の答えは、 正確に計算すると、目標まであと1.7～3.1アインシュタインと0.3マンハッタン計画の間ということだ。 しかし、現在の研究は、アインシュタインが自らの基盤とする情報を生み出し、 有用な能力を常に生み出している。

  3. この本は、 現象のコンピュータ・シミュレーションと論理学での形式化を混同している。 シミュレーションは形式化の一種に過ぎず、 コンピュータにとってさえ最も有用なものであるとは限らない。 そもそも論理的・数学的形式化は、 シミュレーションには不十分なシステムに関する部分的な情報を利用することができる。 エネルギー保存の法則は、 エネルギー変換システムを定義する前に、 その可能性について多くのことを教えてくれる。 シミュレーション・プログラムが利用できる場合でも、 シミュレーションをうまく利用するためには、 他の形式化が必要である。 この書評では、 これらの概念間の関係を完全に説明する場所ではない。

パンチの有名な牧師の卵のように、この本は部分的には良い。 そのため、以下のような興味深い問題を提起している：

  1. コンピューターが愛を望んだり、 絶望したりすることはどういうことだろうか？ これらの質問に対する答えは、 問題となっている現象を （シミュレーションではなく） 形式化できるかどうかにかかっている。 私の予想では、 信じることと望むことの公理化に希望の概念を加えることは難しくないかもしれない。 哲学的論理学における命題と態度の研究は、 そのような方向を指し示している。

  2. 経験の違いによって、 人間と機械の知性は必ずしも大きく異なり、 機械が機械よりも知的になれるかどうかを問うことは無意味なのだろうか？ 私の考えでは、比較することに意味があると思う。 結局のところ、ほとんどの人は、 人間が七面鳥よりも知能が高いと信じて疑わない。 人間の知能が感覚能力に依存しているというワイゼンバウムの例示は、 反論の余地があるようにさえ思える。 なぜなら、感覚的に深刻なハンディキャップを負っている人たち、 たとえば聾唖者や盲人、あるいは半身麻痺の人たちにも、 人間性の根本的な違いは認められないからである。


不当に攻撃された人々を守るために ー 無実の人々もいる

以下はワイゼンバウムの標的に対する弁護である。 これらは擁護者に完全に適合することを保証するものではない。

ワイゼンバウムの推測によれば、 国防総省が音声認識研究を支援しているのは、 電話の会話を盗み見るためだということだが、 これは偏見に満ちており、根拠がなく、虚偽であり、 政治的悪意が動機となっているようだ。 このプロジェクトを提案した科学者委員会は、 まったく異なる検討を進めたし、 最終決定を下した高官たちは鬼ではない。 いずれにせよ、彼らは他の責任を負っており、 複雑で狡猾な検討などしている暇はない。 私がこの件を最初に取り上げたのは、 多くの科学者が不当とわかっている攻撃から 国防総省を守らなかったこと自体が不当であり、 さらに国に損害を与えたと考えるからである。

ワイゼンバウムは、 コンピュータによる音声認識が、 電話の会話を盗み見る以上の費用対効果の高い用途に使われることに疑問を抱いている。 このような機械が存在することで、 より簡単に解決できるような差し迫った人間の問題が存在することに疑問の余地はない。 いったん機能すれば、コストは下がるだろう。 ウィノグラードは、 コンピュータの家庭での応用の可能性の多くは、 コンピュータによる音声認識なしには実現不可能かもしれないと指摘した。 人は、認識されている問題を解決する方法と、 新しい技術の可能性を有効に活用する機会の両方について考える必要がある。 電話は、すでに特定されているコミュニケーションの問題を検討する委員会によって 発明されたものではない。

サイコロジー・トゥデイのことをカフェテリアと呼ぶのは、 自分たちの心理学的知識を一般大衆レベルより上のものだと 考えたがる人々の俗物意識を刺激するだけである。 私の知る限り、専門家やアカデミックな心理学者たちは、 サイコロジー・トゥデイが提供する、 自分たちの考えを広く一般大衆に説明する機会を歓迎している。 ワイゼンバウムがうまく頼めば、 彼らはワイゼンバウムの本の縮小版を買うかもしれない。 うーん、彼らはこの書評さえ買うかもしれない。

ワイゼンバウムは、 ニューヨーク・タイムズが運営するものとは異なる ニューヨーク・タイムズ・データバンクを発明した。 本物のデータバンクは人間が書いた抄録を保存し、 植字機用のテープは使わない。 その結果、ユーザーは抄録にしかアクセスできず、 記事そのものの特徴を検索することはできない。

コルビーが提案したように、 コンピューター・プログラムを心理療法士として使うことは、 もしそれが人々を治療するのであれば、道徳的である。 残念なことに、 コンピューター科学はそれに対応していないし、 精神科医もそうではないかもしれない。

私は、芸術理論家が形式理論の開発に消極的であることを批判するミンスキーに同意する。 ジョージ・バーコフの形式理論はおそらく間違っていただろうが、 挑戦したことを批判されるべきではなかった。 この問題は私には非常に難しく、 アーサー・ケストラーからの 「コンピューター・プログラムがどのようにジョークを作るのか、 あるいはジョークを認識するのか」 という挑戦に対して、 私は大きな進歩を遂げることができなかった。 もしかしたら、この批評の読者ならもっとうまくいくかもしれない。

「強迫的なコンピューター・プログラマー」や「ハッカー」を攻撃する章がある。 この神話上の獣はコンピュータの研究室に住み、 タイムシェアリングシステムの裏も表も知り尽くし、 タイムシェアリングシステムを難解な機能で練り上げ、 決して文書化しない。 これらの悪癖はすべて存在するが、 これらを兼ね備えた個人は思いつかない。 ラボのディレクターとして、 私は、設備を複雑にしすぎる傾向から、 パートタイムでしかプログラミングをしない人々の利益を守らなければならない。 すべての時間をプログラミングに費やし、 口コミで情報を交換する人たちは、 時には適切な書き込みをするように迫られなければならない。 この問題の裏側には、 われわれコンピュータ・サイエンスの教授が、 練習不足のために実際のコンピュータ・プログラムを書く能力を失い、 研究室にフルタイムでいられる若い人たちをうらやむことがあるということがある。 この現象は、他の科学や他の人間活動でもよく知られている。

ワイゼンバウムはイェール大学のコンピューター言語学者ロジャー・シャンクを次のように攻撃している: 「言語間の概念基盤が存在し、 その上にある言語の言語構造が理解の過程でマッピングされ、 ［言語的発話の］生成の過程でそのような構造が作り出される」 と主張されるとき、何が貢献されるのだろうか？まったくない。 というのも、「概念的基盤」という言葉は、 「何か」という言葉に置き換えてもまったく差し支えないからである。 そして、誰がそのように変換された文に反論できるだろうか？ ワイゼンバウムは続けて、 真の科学的問題は「相変わらず手つかずのままである」と言う。 次のページでは、「シャンクのようなスキーム」が "Will you come to dinner with me this evening?" という文章を「内気な若者の愛に対する切実な憧れ」という意味だと理解しない限り、 システムが「理解する」という意味は 「ELIZAが「理解する」という意味と同じくらい弱い」 と述べている。 この好例は興味深い問題を提起し、 いくつかの区別を要求しているようだ。 この文章を完全に理解することは、 確かに青年の愛への願望を知ることにつながるが、 マシンが知ることができるのは、 彼が彼女に夕食に来てほしいということだけであるという、 より低いレベルの理解も有用であるように思われる。

シャンクやウィノグラードに対するヴァイツェンバウムの人間以上に厳しい態度と、チョムスキーに対する敬意に満ちた、さらには卑屈な態度とは対照的である。 「言語学者の最初の仕事は、 特定の言語の文法、 つまり規則のセットを書くことであり、 それらの言語の文法的に許容される文のすべてを特徴づけることのできる文法である。 そして、そのような文法すべての重要な特徴を予想できる原理を仮定するのである。 別の言い方をすれば、 チョムスキーの仮説は、 そのような普遍文法の規則が、 人間の心の重要な側面の一種の射影的記述を構成するだろうということである。」 ここには、普遍文法が青年の恋愛願望を考慮に入れることを要求するものは何もない。 私が見る限り、チョムスキーは我々人工知能と同じ合理主義者である。

概念ベースというシャンクの目標は、 普遍文法というチョムスキーの目標と似ているが、 シャンクの考え方はさらに発展しており、 彼の生徒のプログラムのパフォーマンスを現実と比較することができる。 抜本的な見直しが必要で、まったく正しい方向には進んでいないかもしれない。 私は、知的存在が世界について知っていなければならない基本的な事実を どのように表現するかということに関して、かなり異なった研究を進めている。 私の考えは、言語からではなく、認識論から出発することである、 言語による表現は二次的なものであると考えるのだ。 このアプローチは困難であることが判明しており、 実践者はほとんどおらず、コンピュータ・プログラムもほとんど生まれていない。 しかし、私は今でもそれが正しいと思う。

ワイゼンバウムは、チョムスキー派のシャンクやウィノグラッド、 他のＡＩベースの言語研究者に対する高慢な態度を支持している。 彼は184ページで、 「たとえばノーム・チョムスキーのような多くの言語学者は、 言語に関する考えがまだ有用に活用される余地があり、 彼らの現在の理論をコンピュータモデルに変換しようとする試みは、 最も資格のある人々によって行われても、 主要な仕事からの逸脱であると考えている。 そして、彼らはハッカーたちの研究に エネルギーを費やす意味を 正当に認識している」と述べている。

これによって「強迫的なコンピューター・プログラマー」、 別名「ハッカー」についての章が、より鮮明に浮かび上がってくる。 チョムスキーの最新刊『Reflections on Language』では、 ウィノグラード、シャンク、シャルニアック、ウィルクス、ボブロー、ウィリアム・ウッズといった、 自然言語を扱う大規模なコンピュータ・システムを開発し、 自然言語の意味論に関する論文を書いている人々の仕事については一切触れていない。 自らをハッカーと呼び、 ワイゼンバウムの説明に最も近い実際の若いコンピューター・プログラマーたちは、 自然言語に関する論文を書かない。 つまり、研究する必要のないハッカーとは、 教授や上級科学者であるウィノグラード、シャンクらのことである。 チョムスキー学派は、 自然言語の意味論が構文論よりも基本的であるという結論に達したのはごく最近のことである。 一方、ＡＩをベースとする研究者たちは、15年前からこの路線を追求してきた。

外部の観察者は、これがMIT内部での枕投げであることをある程度認識すべきである。 チョムスキーとハレはM.I.T.から離れないし、ミンスキーも離れない。 シャンクはイェール大学では安泰だ。 ワイゼンバウムも終身在職権を持っている。 しかし、特にMITでは、言語学の助教授職が危うくなるかもしれない。

アレン・ニューウェルとハーバート・サイモンは、 人間を差異を減少させる機械として表現しようとしたことで、 過大評価であると批判され、 道徳的に欠陥があるとみなされている。 人間は複雑な環境における単純なシステムであるというサイモンの見解は、 攻撃の対象として特別視されている。 私に言わせれば、 彼らが過大評価だったのは、 彼らが賭けたGPSモデルが十分ではなかったからだ。 ニューウェルズの現在の生産システムモデルの方がうまくいくかもしれない。 人間の精神構造が最終的に単純なものになるかどうかについては、 私は迷うところだが、 最も複雑な生物学的現象のひとつになるだろうと思う。

フォレスターのモデルは質的な変化を考慮することができないし、 彼らが構築した世界モデルは、 システムが拡大率に制限されている限り、 カーブ・フィッティングでは発見できない需要の飽和効果を省いているため、 それ自体でも欠陥があると私は考えている。 さらに、 彼のモデルが「社会システムがどのように振る舞うかを解釈する」上で、 助けのない頭脳よりも適しているという主張も受け入れられないが、 246ページのワイゼンバウムの皮肉は説得力がない。 彼はフォレスターの言葉を引用している。 「（社会システムの望ましい行動様式は）システムの力学をよく理解し、 望ましい様式に伴う自己規律と圧力に耐えようとする場合にのみ可能であるように思われる」。 ワイゼンバウムは、 「『システム』と『ダイナミクス』という言葉には、 この観察に穏やかな意味を与えるような解釈があるのは間違いない」 とコメントしている。 申し訳ないが、 フォレスターが提案した社会的目標や、 必要な仮定を立て、 それを彼のモデルに落とし込む可能性に対して適切に批判的であれば、 私には問題ないように見える。

スキナーの行動主義は、 人の内的状態に現実を割り当てることを拒否しており、 私には間違っているように思えるが、 彼が真実だと考えていることを私たちに納得させようとすることを不道徳だとは呼べない。

ワイゼンバウムは、 プロジェクトMACの元ディレクターであるエドワード・フレドキンと、 MITの故ウォレン・マッカロックの名前を伏せて引用している。 おそらく彼は、いくつかのパズルがこの本をより面白くすると考えているのだろう。 自動プログラミングの研究に対するフレドキンの嘆願は、 現在我々の社会が意思決定をコンピューターに依存している度合いを過大評価しているように思える。 また、特定の大学の教授陣が技術の用途をコントロールする能力を過大評価し、 知識ベースのシステムを実用化することの難しさを過小評価している。 ワイゼンバウムの指摘は正しいが、 フレドキンは社会における真の対立の存在には言及していない。

（マッカロス1956）からの引用に関しては、 ミンスキーは私に 「これは心理的決定論の泥沼の中に尊厳ある自由の感覚を見出そうとする勇敢な試みである」 と語っている。 おそらくこれは今ならもっとうまくできるだろうが、 ワイゼンバウムはマッカロスの1956年の努力が 彼の道徳的な信用を失墜させるものであると誤ってほのめかしている。

最後に、ワイゼンバウムは２つの発言を私に帰している。 いずれも口頭発表によるものだが、私には確認できない。 そのうちのひとつは、 「現実世界のあらゆる側面のシミュレーションにまだ成功していない唯一の理由は、 十分に強力な論理計算が欠けているからだ。 私はその問題に取り組んでいる」。 この発言は、 現在の私の意見も、 1973年に私がディベートで述べたとされる私の意見も押し付けてはいないし、 ディベートのビデオテープからも見つけることはできなかった。

「現実世界のあらゆる側面」をシミュレートすることはできない。 なぜなら、初期状態の情報が入手可能であり、 運動法則が不完全に知られており、 シミュレーションのための計算が膨大すぎるからである。 さらに、シミュレーションが必ずしも我々の疑問に答えてくれるとは限らない。 その代わりに私たちは、 与えられた感覚能力を持つ機械や生物が実際に利用できる現実世界に関する情報を コンピュータのメモリに表現する方法と、 利用可能な情報から正しく推測される行動コースの効果に関する有用な結論を導き出す手段を見つける必要がある。 十分に強力な論理的微積分を持つことは、 この問題の重要な部分である。

【1976年9月追記 -- この発言は、「人工知能」の傲慢さの一例として、 ワイゼンバウムの本の書評の大部分 （『データミエーション』や『ネイチャー』など）で引用されている。 ワイゼンバウムは、 ライトヒルの討論会でそれを聞いたと強く主張し、 その裏付けとして自分のメモを引用したが、 後に（『データミエーション』で）テープを見直した結果、 そうではなく、 私が他の討論会で言ったに違いないと認めた。 1959年以来、 私が繰り返し述べてきた見解と矛盾するからだ。 私の現在の推測では、 ワイゼンバウムは私が形式化の重要性について何か言ったのを聞いたが、 何を言ったのかよく覚えておらず、 コンピュータモデリングと形式化の関係についての彼自身の誤解に基づいて 「マッカーシーが言ったに違いないこと」を引用したのだろう。 （彼のコンピュータに関する２つの章には、 宣言的知識と手続き的知識の違いや、 ＡＩ文献におけるそれぞれの役割に関する議論についての認識が全く見られない） 言うまでもなく、 私が行ったこともなく、 AIへの私の主要な貢献を示すと思われる見解に反する尊大な発言を、 査読者が繰り返し引用することは、 非常に不快である】

私の２つ目の引用は 「コンピューターに教えられないことを裁判官は知っているのか」 という修辞的な質問である。 もし「最終的に教える」ことを義務づけるなら、 そして特に、 ある人間が他の人間に確実に教えることができるものであることを義務づけるなら、 私はそれに従うだろう。


論争的な罪の要約

この本の思索的な部分には、 時計の発明が人間性を失わせる効果について述べた次のような、 怪しげな小理屈が数多く含まれている:
「時計は文字どおり新しい現実を創造した。 それこそ、私が先に、 近代科学の勃興の舞台を準備するために人間が行ったトリックが、 自然と現実認識の変容にほかならないと言った意味である。 この新しく創造された現実は、 古い現実の貧弱なバージョンであり、 今もなおそうであることを理解することが重要である。 なぜなら、この現実は、 古い現実の基礎を形成し、 実際にそれを構成していた直接的な経験の拒絶の上に成り立っているからである。 その代わりに、 抽象的なモデルがある状態を達成したとき、 つまり時計の針が時計の文字盤のあるマークを指したとき （ここでの擬人化も非常に重要である） 人は食事をする。 同様に、睡眠と起床の合図などもそうである。」

このような原始時代の生活の理想化は、単に軽率なだけである。 現代人と同じように、原始人は食べ物ができたときに食べた。 現代人と同じように、原始人は家族で生活していた。 その家族のメンバーが一度に空腹になる可能性は、 現在の家族のメンバーほど高くない。

このミクロ理論を覆すことで、 私はゲームをプレイしているのではないという感覚を覚える。 理論は雰囲気を提供するためだけのものであり、 小説の読者のように、私は不信感を抱くことになっているのだ。 しかし、科学が私たちを心理的なエデンの園から追いやったという主張は、 このような言葉の絵に大きく依存している。

ところで、MITでの最後のサバティカルで思い出したのだが、 第４章で嘆かれている「ハッカー」たちにとって空腹感は、 原始人にとってそうであったかもしれない以上に、 食べるための直接的な社会的刺激となっている。 爽やかなニューイングランドの夜、 時計が３時を告げたときでさえ、 彼らが互いに呼び合う声が聞こえ、 スクリーンにメッセージが点滅し、 ハッカーの群れが魔法のように集まり、 絵に描いたような集会全体がチャイナタウンへと駆け足で去っていくことがよくある。

私は、この本は以下の点で論争的な文章として水準に達していないと思う:

  1. 著者は、論じている問題について自分自身の立場を確立していない。 ある場所では極端な発言をし、 別の場所では矛盾した発言をするというのは、 すべての要素を考慮に入れて考慮された立場に到達しようとすることの代わりにはならない。 疑うことを知らない読者は、 実に多様な見解を持ってしまうだろうし、 矛盾した立場を支持するためにこの本を利用することもできる。

  2. コンピュータ言語学者たち（ウィノグラード、シャンクら）は、 ハッカーや強迫的なコンピュータ・プログラマーとして誹謗中傷されている。

  3. 彼がどのような生物学的、 心理学的実験やコンピューター応用を許容できると考えているのか、 もっと正確に知りたいものである。 この点については、 レビュアーがすでにさまざまな結論を出している。

  4. 「本物」、「不快」、「非人間的」という言葉が圧力手段として使われている。 これは数学者が言うところの「脅迫による証明」である。

  5. この本は、自分の見解を主張する必要などなく、 ただ隠語を口にし、それを聞いた聴衆が拍手したり、 場合によってはヒスを起こしたりするような俗物主義を助長している。 『ニューサイエンテイスト』誌の評者は、 確かに意図した場所のほとんどで唾を飲んでいる。

  6. 最後に、道徳的な主張が激しさと曖昧さを併せ持つ場合、 既存の権威や新しい政治運動による権威主義的な濫用を招く。 もしこの本が、ある官僚機構、 例えば技術評価局（Office of Technology Assessment）のバイブルとなり、 大学や州、国のコンピュータや科学活動に対する権力を獲得したとしよう。 ワイゼンバウムのスローガンが、 何かを禁止する法律とそれを執行する熱心な若手弁護士からなる官僚機構によって どんな問題も解決できるという官僚倫理と結びついたとしよう。 さらに、漠然とした「人道的研究法」と、 この法律の新たな解釈を立法化するために裁判官を訴える 熱心な若手弁護士を擁する「公益」団体を想定してみよう。 科学者よりも多くの弁護士を必要とする研究所と、 ほとんど何でも禁止したり要求したりできる 人道的研究管理者を見ることができる。

ワイゼンバウムが自分の研究がこのように使われることを予期していた証拠はない; 彼は、経済学者の「レッセ・フェール（自由放任）」のような、 科学官僚になるべき人たちの「レッセ・イノヴェ（自由革新）」というフレーズを使わないし、 官僚的倫理観の一般的な表現である「それが決定されるべきだ」という不定形のフレーズも使わない。 しかし、彼はコンピュータ科学者仲間に、 少なくとも専制政治の可能性を心配する理由を与えたことは確かである。

コーネル大学の初代学長であったアンドリュー・D・ホワイトの言葉を引用して、 このセクションを締めくくろう。 「すべての近代史において、 宗教の利益のためと思われる科学への干渉は、 たとえそれがどれほど良心的な干渉であったとしても、 宗教と科学の両方にとって悲惨な弊害をもたらした； 他方、自由奔放な科学的調査は、 その段階がいかに宗教にとって危険なものであったとしても、 宗教と科学の双方に最高の利益をもたらすものであった。 道徳を宗教に置き換えてみれば、その類似性は明らかだ。 率直に言って、 科学の自由に対する攻撃に対する反応の弱さは、 攻撃の強さよりも私を不安にさせる。


コンピュータに関するどのような懸念が正当化されるのか？

ワイゼンバウムの過ちやモラルについて不平を言うだけでは十分ではない。 真の懸念がこの本を書かせたのであり、 多くの人々がそれを共有している。 以下は、私が確認できた真の懸念と、 その解決についてのあるコンピューター科学者の意見である: コンピュータが人間の誤ったモデルを導く危険性はあるのか？ コンピューターが悪用される危険性はあるのか？ 人間レベルの人工知能は実現可能か？ 達成できるとすれば、 それはどのような動機づけの特性を持つのか？ 人工知能の実現は、 人類にとって良いことなのか悪いことなのか？

1. コンピューター・モデルは人間の誤ったモデルにつながるのか？

歴史的に、生命と世界の機械論的モデルは、 アニミズム（精霊信仰）的モデルに従ったものであり、 それに従って神官や医学者は、 精霊がより良い行動をするように誘導することによって、 環境や人間の不具合を修正しようとした。 それを機械論的なモデルに置き換えたのが、 シャーマニズムを医学に置き換えたのである。 ロザックは、より「人間的」だと思うからこそ、 これらのモデルを復活させたいと考えているのだが、 世界はそのように構築されていないため、 それが機能しないという悲しい事実を無視している。 私の考えでは、 コンピューター以前の心の機械論的モデルは成功しなかった。 しかし、 心のプロセスの計算モデルを追求する心理学者たちは、 いずれ本当に有益な精神医学を開発するかもしれないと思う。

哲学的・道徳的思考は、 人間の信念や目的を物理的世界ともっともらしく結びつける人間モデルをまだ見つけられていない。 失敗した試みの中には、 より機械論的なものもあった。 機械論的モデルも非機械論的モデルも、 政治的イデオロギーの基礎となった場合には大きな弊害をもたらした。 私の考えでは、 信念、目的、欲求と物理的世界との関係は、 複雑ではあるが最終的には解決可能な問題である。 コンピューターモデルはその解決に役立つし、 誤った解決策を否定する基準を提供することもできる。 今のところは後者の方が重要であり、 コンピュータモデルはすでにソ連における弁証法的唯物論の崩壊を早めている。

2. コンピューターが悪用される危険性は？

これまで、コンピューターは単なる省力化技術に過ぎなかった。 ワイゼンバウムが、 コンピューターがなければ我々の社会はペーパーワークで溢れかえっていた という主張を受け入れることには賛成できない。 コンピューターがなければ、 人々は少し一生懸命働き、 その仕事に対する報酬は少し減るだろう。 しかし、家庭用端末が利用できるようになれば、 電話や自動車がもたらしたような大きな社会変化が起こるだろう。 自動車や電話がもたらした変化と同様に。 専制政治は、 専制的なイデオロギーに率いられた 警察のクーデターをコントロールすることから生まれる。 データバンクがないために倒された独裁政権はまだない。

テクノロジーが将来うまくいくかどうかの予想は、 それが過去にどのようにうまくいったかという見方と相関している。 私は、例えば自動車は間違いではなかったと思うし、 将来についても楽観的である。 現在のイデオロギーの多くは、 旧来の反科学的・反技術的見解と、 恐怖や罪悪感を煽り、 操作する政治技術の新たな発展が組み合わさったものだと感じている。

3. 人工知能はどのような動機を持つのか？

人工知能は、 私たちが人工知能に与えることを選んだ動機を持つことになる。 最終的に人工知能を作り上げる者は、 人工知能に質問に答えることだけを動機付けることから始めるべきであり、 起こりうる副作用を無視して、 単に固定した目標を達成する方法ではなく、 代替行動の結果を完全に把握することを求めるセンスを持つべきである。 物理的な状態に敏感に反応し、 目標が移り変わる人間的な動機づけ構造を与えるには、 知的な行動をさせるのに必要な以上の、 意図的な努力が必要になるだろう。

4. 人工知能は善か悪か？

ここでは、人間が持っているのと同じ範囲の知的能力を持つ機械について話している。 というのも、次世代のコンピューター、 あるいはコンピューター同士をつなげることで、 人間の知能に質的に似た知能が生まれるかもしれないが、 そのスピードは何千倍も速くなるかもしれないからだ。 すべての決断に100年の思考を注ぎ込むことができるとしたら、 それはどのようなものだろうか？ 質的に優れた答えが得られるかどうかは、 やってみなければわからない。

人間を超えるレベルの人工知能が実現すれば、 人類は驚くほど多様な選択肢を手に入れることになる。 しかし、高度な人工知能の最初の用途のひとつは、 その使用を管理する代替政策の結果を見極めることであることは明らかである。 最も可能性が高いのは、 人間が人工知能を使って自らを変革することだと思うが、 人工知能の特性や使用による影響が明らかになれば、 人工知能を使わないという決断を下すかもしれない。 そうなると、科学は山登りのようなスポーツになってしまう。 要は、定型化された限られた手段を使って、 世界についての事実を発見することになる。 しかし、ひとたび人間が完全なＡＩという現実に直面すれば、 その後の進化が正しい道筋をたどったかどうかについての ピテカントロプスの意見と同じように、 私たちの意見が彼らにとって重要な意味を持つことになるかもしれない。

5. コンピューターにプログラムすべきでないこととは？

明らかに、やってはいけないことをコンピューターにプログラムしてはいけない。 さらに、自分自身や他人を欺くためにプログラムを使うべきではない。 それを除けば、ワイゼンバウムの例にはどれも説得力がない。 しかし、人間のような動機づけや感情構造を持ち、 人間とは無関係に権利や義務を持つ可能性のあるロボットを作ることの是非は疑問だ。 さらに、訓練者が進化させようとしている知的・動機的構造を理解していない限り、 報酬と罰のプログラムに反応することで知能を進化させる機械を作るのは危険かもしれないと思う。

これらの疑問はすべて、 より広範な議論に値するものであり、 またそうしてきたものである。 しかし私は、今現在の唯一の合理的な政策は、 問題に直面している人々が、 自分たちの最善の利益を、 私たちが今できること以上に理解してくれることを期待することだと思う。 たとえ来年、完全なＡＩが到着したとしても、これは正しい。 正しい決断を下すには、 まだ遠い事態を考慮するためには 動員できないような激しい努力が必要になる。 大統領候補者たちに、 完全なＡＩが取るかもしれない各形態について、 それぞれがどうするかテレビで討論してもらうことを想像してみてほしい。


参考文献:

McCulloch, W.S.(1956) Toward some circuitry of ethical robots or an observational science of the genesis of social evaluation in the mind-like behavior of artifacts. Acta Biotheoretica, XI, parts 3/4, 147—156

This review is filed as WEIZEN.REV[PUB,JMC] at SU-AI on the ARPA net. Any comments sent to JMC@ SU-AI will be stored in the directory PUB,JMC also known as McCarthy’s Electric Magazine. The comment files will be designated WEIZEN.1, WEIZEN.2, etc.

John Mccarthy
Artificial Intelligence Laboratory
Stanford, California 94305
September 16, 1976



The following review appeared in Creative Computer and in the SIGART News Letter.

AN UNREASONABLE BOOK

Joseph Weizenbaum,
Computer Power and Human Reason,
W.H. Freeman Co., San Francisco 1975

This moralistic and incoherent book uses computer science and technology as an illustration to support the view promoted by Lewis Mumford, Theodore Roszak, and Jacques Ellul, that science has led to an immoral view of man and the world. I am frightened by its arguments that certain research should not be done if it is based on or might result in an "obscene" picture of the world and man. Worse yet , the book’s notion of "obscenity" is vague enough to admit arbitrary interpretations by activist bureaucrats.

IT’S HARD TO FIGURE OUT WHAT HE REALLY BELIEVES.

Weizenbaum’s style involves making extreme statements which are later qualified by contradictory statements. Therefore, almost any quotation is out of context, making it difficult to summarize his contentions accurately.

The following passages illustrate the difficulty:

“In 1935, Michael Polanyi”, [British chemist and philosopher of science , was told by] “Nicolai Bukharin, one of the leading theoreticians of the Russian Communist party, ... [that] ‘under socialism the conception of science pursued for its own sake would disappear, for the interests of scientists would spontaneously turn to the problems of the current Five Year Plan.’ Polanyi sensed then that ‘the scientific outlook appeared to have produced a mechanical conception of man and history in which there was no place for science itself.’ And further that ‘this conception denied altogether any intrinsic power to thought and thus denied any grounds for claiming freedom of thought!” -- from page 1. Well, that ’s clear enough; Weizenbaum favors freedom of thought and science and is worried about threats to them. But on page 265, we have　

“Scientists who continue to prattle on about ‘knowledge for its own sake’ in order to exploit that slogan for their self—serving ends have detached science and knowledge from any contact with the real world”. Here Weizenbaum seems to be against pure science, i.e. research motivated solely by curiosity. We also have “With few exceptions, there have been no results, from over twenty years of artificial intelligence research, that have found their way into industry generally or into the computer industry in particular.” - page 229 This again suggests that industrial results are necessary to validate science.

“Science promised, man power. But as so often happens when people are seduced by promises of power -- the price actually paid is servitude and impotence”. This is from the book jacket. Presumably the publisher regards it as a good summary of the book’s main point.

“I will, in what follows, try to maintain the position that there is nothing wrong with viewing man as an information processor (or indeed as anything else) nor with attempting to understand him from that perspective, providing, however, that we never act as though any single perspective can comprehend the whole man.” - page 140. We can certainly live with that, but

“Not only has our unbounded feeding on science caused us to become dependent on it, but, as happens with many other drugs taken in increasing dosages, science has been gradually converted into a slow acting poison”. - page 13. These are qualified by

“I argue for the rational use of science and technology , not for its mystification, let alone its abandonment ”, - page 256

In reference to the proposal for a moratorium on certain experiments with recombinant DNA because they might be dangerous, we have “Theirs is certainly a step in the right direction, and their initiative is to be app lauded. Still, one may ask , why do they feel they have to give a reason for what they recommend at all? Is not the overriding obligation on men, including men of science, to exempt life itself from the madness of treating everything as an object, a sufficient reason, and one that does not even have to be spoken? Why does it have to be explained? It would appear that even the noblest acts of the most well—meaning people are poisoned by the corrosive climate of values of our time. ” Is Weizenbaum against all experimental biology or even all experiments with DNA? I would hesitate to conclude so from this quote; he may say the direct opposite somewhere else. Weizenbaum’s goal of getting lines of research abandoned without even having to give a reason seems unlikely to be achieved except in an atmosphere that combines public hysteria and bureaucratic power. This has happened under conditions of religious enthusiasm and in Nazi Germany, in Stalinist Russia and in the China of the “Cultural Revolution”. Most likely it won’t happen in America.

“Those who know who and what they are do not need to ask what they should do.” - page 273. Let me assure the reader that there is nothing in the book that offers any way to interpret this pomposity. I take it as another plea to be free, of the bondage of having to give reasons for his denunciations.

The menace of such grandiloquent precepts is that they require a priesthood to apply them to particular cases, and would be priests quickly crystallize around any potential center of power. A corollary of this is that people can be attacked for what they are rather than for anything specific they have done. The April 1976 issue of Ms. has a poignant illustration of this in an article about “trashing”.

“An individual is dehumanized whenever he is treated as less than a whole person”. — page 266. This is also subject to priestly interpretation as in the encounter group movement.

“The first kind [of computer application] I would call simply obscene. These are ones whose very contemplation ought to give rise to feelings of disgust in every civilized person. The proposal I have mentioned, that an animal’s visual system and brain be coup led to computers, is an example. It represents an attack on life itself. One must wonder what must have happened to the proposers’ perception of life, hence to their perceptions of themselves as part of the continuum of life, that they can even think of such a thing, let alone advocated it”. No argument is offered that might be answered, and no attempt is made to define criteria of acceptability. I think Weizenbaum and the scientists who have praised the book may be surprised at some of the repressive uses to which the book will be put. However, they will be able to point to passages in the book with quite contrary sentiments, so the repression won’t be their fault.

BUT HERE’S A TRY AT SUMMARIZING:

As these inconsistent passages show, it isn’t easy to determine Weizenbaum’s position, but the following seem to be the book’s main points:

  1. Computers cannot be made to reason usefully about human affairs, This is supported by quoting overoptimistic prediction s by computer Scientists and giving examples non—verbal human communication. However, Weizenbaum doesn’t name any specific task that computers cannot carry out, because he wishes “to avoid the unnecessary, interminable, and ultimately sterile exercise of making a catalogue of what computers will and will not be able to do, either here and now or ever”. It is also stated that human and machine reasoning are incomparable and that the sensory experience of a human is essential for human reasoning.

  2. There are tasks that computers should not be programmed to do. Some are tasks Weizenbaum thinks shouldn’t be done at all - mostly for new left reasons. One may quarrel with his politics, and I do, but obviously computers shouldn’t do what shouldn’t be done. However, Weizenbaum also objects to computer hookups to animal brains and computer conducted psychiatric interviews. As to the former, I couldn’t tell whether he is an antivivisectionist, but he seems to have additional reasons for calling them “obscene”. The objection to computers doing psychiatric interviews also has a component beyond the conviction that they would necessarily do it badly. Thus he says, “What can the psychiatrist’s image of his patient be when he sees himself, as a therapist, not as an engaged human being acting as a healer, but as an information processor following rules, etc.?” This seems like the renaissance era religious objections to dissecting the human body that came up when science revived. Even the Popes eventually convinced themselves that regarding the body as a machine for scientific or medical purposes was quite compatible with regarding it as the temple of the soul. Recently they have taken the same view of studying mental mechanisms for scientific or psychiatric purposes.

  3. Science has led people to a wrong view of the world and of life. The view is characterized as mechanistic, and the example of clockwork is given. (It seems strange for a computer scientist to give this example, because the advance of the computer model over older mechanistic models is that computers can and clockwork can’t make decisions.) Apparently analysis of a living system as composed of interacting parts rather than treating it as an unanalyzed whole is bad.

  4. Science is not the sole or even main source of reliable general knowledge. However, he doesn’t propose any other sources of knowledge or say what the limits of scientific know ledge is except to characterize certain thoughts as “obscene”.

  5. Certain people and institutions are attacked . These include the Department of “Defense” (sic), Psychology Today, the New York Times Data Bank , compulsive computer programmers, Kenneth Colby, Marvin Minsky, Roger Schank , Allen Newell , Herbert Simon, J.W. Forrester , Edward Fredkin, B.F. Skinner, Warren McCulloch (until he was old), Laplace and Leibniz.

  6. Certain political and social views are taken for granted. The view that U.S. policy in Vietnam was “murderous” is used to support an attack on “logicality” (as opposed to “rationality”) and the view of science as a “slow actin g poison”. The phrase “It may be that the people ’s cultivated and finally addictive hunger for private automobiles..." (p.30) makes psychological, sociological, political, and technological presumptions all in one phrase. Similarly, “Men could instead choose to have truly safe automobiles, decent television, decent housing for everyone, or comfortable, safe, and widely distributed mass transportation.” presumes wide agreement about what these things are, what is technologically feasible, what the effects of changed policies would be, and what activities aimed at changing people’s taste are permissible for governments.

THE ELIZA EXAMPLE

Perhaps the most interesting part of the book is the account of his own program ELIZA that parodies Rogerian non-directive psychotherapy and his anecdotal account of how some people ascribe intelligence and personality to it. In my opinion, it is quite natural for people who don ’t understand the notion of algorithm to imagine that a computer computes analogously to the way a human reasons. This leads to the idea that accurate computation entails correct reasoning and even to the idea that computer malfunctions are analogous to human neuroses and psychoses. Actually, programming a computer to draw interesting conclusions from premises is very difficult and only limited success has been attained. However, the effect of these natural misconceptions shouldn’t be exaggerated; people readily understand the truth when it is explained, especially when it applies to a matter that concerns them. In particular, when an executive excuses a mistake by saying that he placed excessive faith in a computer, a certain skepticism is called for.

Colby’s (1973) study is interesting in this connection, but the interpretation below is mine. Colby had psychiatrists interview patients over a teletype line and also had them interview his PARRY program that simulates a paranoid. Other psychiatrists were asked to decide from the transcripts whether the interview was with a man or with a program , and they did no better than chance. However, since PARRY is incapable of the simplest causal reasoning, if you ask, “How do you know the people following you are Mafia” and get a reply that they look like Italians, this must be a man not PARRY. Curiously, it is easier to imitate (well enough to fool a psychiatrist) the emotional side of a man than his intellectual side. Probably the subjects expected the machine to have more logical ability, and this expectation contributed to their mistakes. Alas, random selection from the directory of the Association for Computing Machinery did no better.

It seems to me that ELIZA and PARRY show only that people , including psychiatrists, often have to draw conclusions on slight evidence, and are therefore easily fooled. If I am right, two sentences of instruction would allow them to do better.

In his 1966 paper on ELIZA (cited as 1965), Weizenbaum writes, “One goal for an augmented ELIZA program is thus a system which already has access to a store of information about some aspect of the real world and which, by means of conversational interaction with people, can reveal both what it knows, i.e. behave as an information retrieval system, and where its knowledge ends and needs to be augmented. Hopefully the augmentation of its knowledge will also be a direct consequence of its conversational experience. It is precisely the prospect that such a program will converse with many people and learn something from each of them which leads to the hope that it will prove an interesting and even useful conversational partner.” Too bad he didn’t successfully pursue this goal; no-one else has. I think success would have required a better understanding of formalization than is exhibited in the book.

WHAT DOES HE SAY ABOUT COMPUTERS?

While Weizenbaum’s main conclusions concern science in general and are moralistic in character , some of his remarks about computer science and AI are worthy of comment.

  1. He concludes that since a computer cannot have the experience of a man, it cannot understand a man. There are three points to be made in reply. First , humans share each other’s experiences and those of machines or animals only to a limited extent. In particular, men and women have different experiences. Nevertheless, it is common in literature for a good writer to show greater understanding of the experience of the opposite sex than a poorer writer of that sex. Second, the notion of experience is poorly understood; if we understood it better, we could reason about whether a machine could have a simulated or vicarious experience normally confined to humans. Third, what we mean by understanding is poorly understood, so we don’t yet know how to define whether a machine understands something or not.

  2. Like his predecessor critics of artificial intelligence, Taube, Dreyfus and Lighthill, Weizenbaum is impatient, implying that if the problem hasn’t been solved in twenty years, is time to give up. Genetics took about a century to go from Mendel to the genetic code for proteins, and still has a long way to go before we will fully understand the genetics and evolution of intelligence and behavior. Artificial intelligence may be just as difficult. My current answer to the question of when machines will reach human—level intelligence is that a precise calculation shows that we are between 1.7 and 3.1 Einsteins and .3 Manhattan Projects away from the goal. However, the current research is producing the information on which the Einstein will base himself and is producing useful capabilities all the time.

  3. The book confuses computer simulation of a phenomenon with its formalization in logic. A simulation is only one kind of formalization and not often the most useful — even to a computer. In the first place, logical and mathematical formalizations can use partial information about a system insufficient for a simulation. Thus the law of conservation of energy tells us much about possible energy conversion systems before we define even one of them. Even when a simulation program is available, other formalizations are necessary even to make good use of the simulation. This review isn’t the place for a full explanation of the relations between these concepts.

Like Punch’s famous curate’s egg, the book is good in parts. Thus it raises the following interesting issues:

  1. What would it mean for a computer to hope or be desperate for love? Answers to these questions depend on being able to formalize (not simulate) the phenomena in question. My guess is that adding a notion of hope to an axiomatization of belief and wanting might not be difficult. The study of proposition al attitudes in philosophical logic points in that direction.

  2. Do differences in experience make human and machine intelligence necessarily so different that it is meaningless to ask whether a machine can be more intelligent than a machine? My opinion is that comparison will turn out to be meaningful. After all, most people have not doubt that humans are more intelligent than turkeys. Weizenbaum’s examples of the dependence of human intelligence on sensory abilities seem even refutable, because we recognize no fundamental difference in humanness in people who are severely handicapped sensorily, e.g. the deaf, dumb and blind or paraplegics.

IN DEFENSE OF THE UNJUSTLY ATTACKED -- SOME OF WHOM ARE INNOCENT

Here are defenses of Weizenbaum’s targets. They are not guaranteed to entirely suit the defendees.

Weizenbaum’s conjecture that the Defense Department supports speech recognition research in order to be able to snoop on telephone conversations is biased, baseless, false, and seems motivated by political malice. The committee of scientists that proposed the project advanced quite different considerations, and the high officials who made the final decisions are not ogres. Anyway their other responsibilities leave them no time for complicated and devious considerations. I put this one first, because I think the failure of many scientists to defend the Defense Department against attacks they know are unjustified, is unjust in itself, and furthermore has harmed the country.

Weizenbaum doubts that computer speech recognition will have cost—effective applications beyond snoop ing on phone conversations. He also says, “There is no question in my mind that there is no pressing human problem that will be more easily solved because such machines exist”, I worry more about whether the programs can be made to work before the sponsor loses patience. Once they work ,costs will come down. Winograd pointed out to me that many possible household applications of computers may not be feasible without some computer speech recognition. One needs to think both about how to solve recognized problems and about opportunities to put new technological possibilities to good use. The telephone was not invented by a committee considering already identified problems of communication.

Referring to Psychology Today as a cafeteria simply excites the snobbery of those who would like to consider their psychological knowledge to be above the popular level. So far as I know, professional and academic psychologists welcome the opportunity offered by Psychology Today to explain their ideas to a wide public. They might even buy a cut-down version of Weizenbaum’s book if he asks them nicely. Hmm , they might even buy this review.

Weizenbaum has invented a New York Times Data Bank different from the one operated by the New York Times - and possibly better. The real one stores abstracts written by humans and doesn’t use the tapes intended for typesetting machines. As a result the user has access only to abstracts and cannot search on features of the stories themselves, i.e. he is at the mercy of what the abstractors thought was important at the time.

Using computer programs as psychotherapists, as Colby proposed, would be moral if it would cure people. Unfortunately, computer science isn’t up to it, and maybe the psychiatrists aren’t either.

I agree with Minsky in criticizing the reluctance of art theorists to develop formal theories. George Birkhoff’s formal theory was probably wrong, but he shouldn’t have been criticized for trying. The problem seems very difficult to me, and I have made no significant progress in responding to a challenge from Arthur Koestler to tell how a computer program might make or even recognize jokes. Perhaps some reader of this review might have more success.

There is a whole chapter attacking “compulsive computer programmers” or “hackers”. This mythical beast lives in the computer laboratory, is an ex pert on all the ins and outs of the timesharing system, elaborates the time—sharing system with arcane features that he never documents, and is always changing the system before he even fixes the bugs in the previous version. All these vices exist, but I can ’t think of any individual who combines them, and people generally outgrow them. As a laboratory director, I have to protect the interests of people who program only part time against tendencies to over—complicate the facilities. People who spend all their time programming and who exchange information by word of mouth sometimes have to be pressed to make proper writeups. The other side of the issue is that we professors of computer science sometimes lose our ability to write actual computer programs through lack of practice and envy younger people who can spend full time in the laboratory. The phenomenon is well known in other sciences and in other human activities.

Weizenbaum attacks the Yale computer linguist, Roger Schank, as follows -- the inner quotes are from Schank: “What is contributed when it is asserted that ‘there exists a conceptual base that is interlingual, onto which linguistic structures in a given language map during the understanding process and out of which such structures are created during generation [of linguistic utterances]? Nothing at all. For the term ‘conceptual base’ could perfectly well be replaced by the word ‘something’. And who could argue with that so—transformed statement?” Weizenbaum goes on to say that the real scientific problem “remains as untouched as ever”. On the next page he says that unless the “Schank—like scheme” understood the sentence “Will you come to dinner with me this evening ?” to mean “a shy young man’s desperate longing for love, then the sense in which the system “understands” is “about as weak as the sense in which ELIZA “understood"”. This good example raises interesting issues and seems to call for some distinctions. Full understanding of the sentence indeed results in knowing about the young man’s desire for love, but it would seem that there is a useful lesser level of understanding in which the machine would know only that he would like her to come to dinner.

Contrast Weizenbaum’s demanding, more—human-than-thou attitude to Schank and Winograd with his respectful and even obsequious attitude to Chomsky. We have “The linguist’s first task is therefore to write grammars, that is, sets of rules, of particular languages, grammars capable of characterizing all and only the grammatically admissible sentences of those languages, and then to postulate principles from which crucial features of all such grammars can be deduced. That set of principles would then constitute a universal grammar. Chomsky’s hypothesis is, to put it another way, that the rules of such a universal grammar would constitute a kind of projective description of important aspects of the human mind.” There is nothing here demanding that the universal grammar take into account the young man’s desire for love. As far as I can see, Chomsky is just as much a rationalist as we artificial intelligentsia.

Chomsky’s goal of a universal grammar and Schank’s goal of a conceptual base are similar, except that Schank’s ideas are further developed, and the performance of his students’ programs can be compared with reality. I think they will require drastic revision and may not be on the right track at all, but then I am pursuing a rather different line of research concerning how to represent the basic facts that an intelligent being must know about the world. My idea is to start from epistemology rather than from language, regarding their linguistic representation as secondary. This approach has proved difficult, has attracted few practitioners, and has led to few computer programs, but I still think it’s right.

Weizenbaum approves of the Chomsky school’s haughty attitude towards Schank, Winograd and other AI based language researchers. On page 184, he states, “many linguists, for example, Noam Chomsky, believe that enough thinking about language remains to be done to occupy them usefully for yet a little while, and that any effort to convert their present theories into computer models would, if attempted by the people best qualified, be a diversion from the main task. And they rightly see no point to spending any of their energies studying the work of the hackers.”

This brings the chapter on “compulsive computer programmers” alias “hackers” into a sharper focus. Chomsky’s latest book Reflections on Language makes no reference to the work of Winograd, Schank, Charniak, Wilks, Bobrow or William Woods to name only a few of those who have developed large computer systems that work with natural language and who write papers on the semantics of natural language. The actual young computer programmers who call themselves hackers and who come closest to meeting Weizenbaum’s description don’t write papers on natural language. So it seems that the hackers whose work need not be studied are Winograd, Schank, et.al. who are professors and senior scientists. The Chomsky school may be embarassed by the fact that it has only recently arrived at the conclusion that the semantics of natural language is more fundamental than its syntax, while AI based researchers have been pursuing this line for fifteen years.

The outside observer should be aware that to some extent this is a pillow fight within M.I.T. Chomsky and Halle are not to be dislodged from M.I.T. and neither is Minsky - whose students have pioneered the AI approach to natural language. Schank is quite secure at Yale. Weizenbaum also has tenure. However, some assistant professorships in linguistics may be at stake, especially at M.I.T.

Allen Newell and Herbert Simon are criticized for being overoptimistic and are considered morally defective for attempting to describe humans as difference-reducing machines. Simon’s view that the human is a simple system in a complex environment is singled out for attack. In my opinion, they were overoptimistic, because their GPS model on which they put their bets wasn’t good enough. Maybe Newell’s current production system models will work out better. As to whether human mental structure will eventually turn out to be simple, I vacillate but incline to the view that it will turn out to be one of the most complex biological phenomena.

I regard Forrester’s models as incapable of taking into account qualitative changes, and the world models they have built as defective even in their own terms, because they leave out saturation—of—demand effects that cannot be discovered by curve-fitting as long as a system is rate—of—expansion limited. Moreover, I don’t accept his claim that his models are better suited than the unaided mind in “interpreting how social systems behave”, but Weizenbaum’s sarcasm on page 246 is unconvincing. He quotes Forrester, “[desirable modes of behavior of the social system] seem to be possible only if we have a good understanding of the system dynamics and are willing to endure the self—discipline and pressures that must accompany the desirable mode”. Weizenbaum comments, “There is undoubtedly some interpretation of the words ‘system’ and ‘dynamics’ which would lend a benign meaning to this observation”. Sorry, but it looks ok to me provided one is suitably critical of Forrester’s proposed social goals and the possibility of making the necessary assumptions and putting them into his models.

Skinner’s behaviorism that refuses to assign reality to people’s internal state seems wrong to me, but we can’t call him immoral for trying to convince us of what he thinks is true.

Weizenbaum quotes Edward Fredkin, former director of Project MAC, and the late Warren McCulloch of M.I.T. without giving their names. pp. 241 and 240. Perhaps he thinks a few puzzles will make the book more interesting, and this is so. Fredkin’s plea for research in automatic programming seems to overestimate the extent to which our society currently relies on computers for decisions. It also overestimates the ability of the faculty of a particular university to control the uses to which technology will be put, and it underestimates the difficulty of making knowledge based systems of practical use. Weizenbaum is correct in pointing out that Fredkin doesn’t mention the existence of genuine conflicts in society, but only the new left sloganeeririg elsewhere in the book gives a hint as to what he thinks they are and how he proposes to resolve them.

As for the quotation from (McCulloth 1956), Minsky tells me “this is a brave attempt to find a dignified sense of freedom within the psychological determinism morass”. Probably this can be done better now, but Weizenbaum wrongly implies that McCulloch’s 1956 effort is to his moral discredit.

Finally, Weizenbaum attributes to me two statements -- both from oral presentations which I cannot verify. One of them is “The only reason we have not yet succeeded in simulating every aspect of the real world is that we have been lacking a sufficiently powerful logical calculus. I am working on that problem”. This statement doesn’t express my present opinion or my opinion in 1973 when I am alleged to have expressed it in a debate, and no—one has been able to find it in the video—tape of the debate.

We can’t simulate “every aspect of the real world”, because the initial state information is available, the laws of motion are imperfectly known, and the calculations for a simulation are too extensive. Moreover, simulation wouldn’t necessarily answer our questions. Instead, we must find out how to represent in the memory of a computer the information about the real world that is actually available to a machine or organism with given sensory capability, and also how to represent a means of drawing those useful conclusions about the effects of courses of action that can be correctly inferred from the attainable information. Having a sufficiently powerful logical calculus is an important part of this problem -- but one of the easier parts.

[Note added September 1976 -- This statement has been quoted in a large fraction of the reviews of Weizenbaum’s book (e.g. in Datamation and Nature) as an example of the arrogance of the “artificial intelligentsia”. Weizenbaum firmly insisted that he heard it in the Lighthill debate arid cited his notes as corroboration, but later admitted (in Datamiation) after reviewing the tape that he didn’t, but claimed I must have said it in some other debate. I am confident I didn’t say it, because it contradicts views I have held and repeatedly stated since 1959. My present conjecture is that Weizenbaum heard me say something on the importance of formalization, couldn’t quite remember what, and quoted “what McCarthy must have said” based on his own misunderstanding of the relation between computer modeling and formalization. (His two chapters on computers show no awareness of the difference between declarative and procedural knowledge or of the discussions in the AI literature of their respective roles). Needless to say, the repeated citation by reviewers of a pompous statement that I never made and which is in opposition to the view that I think represents my major contribution to AI is very offensive].

The second quotation from me is the rhetorical question, “What do judges know that we cannot tell a computer”. I’ll stand on that if we make it “eventually tell” and especially if we require that it be something that one human can reliably teach another.

A SUMMARY OF POLEMICAL SINS

The speculative sections of the book contain numerous dubious little theories, such as this one about the dehumanizing effect of of the invention of the clock: “The clock had created literally a new reality; and that is what I meant when I said earlier that the trick man turned that prepared the scene f or the rise of modern science was nothing less than the transformation of nature and of his perception of reality. It is important to realize that this newly created reality was and remains an impoverished version of the older one, for it rests on a rejection of those direct experiences that formed the basis for, and indeed constituted the old reality. The feeling of hunger was rejected as a stimulus for eating; instead one ate when an abstract model had achieved a certain state, i.e. when the hand of a clock pointed to certain marks on the clock’s face (the anthropomorphism here is highly significant too), and similarly for signals for sleep and rising, and so on.”

This idealization of primitive life is simply thoughtless. Like modern man, primitive man ate when the food was ready, and primitive man probably had to start preparing it even further in advance. Like modern man, primitive man lived in families whose members are no more likely to become hungry all at once than are the members of a present family.

I get the feeling that in toppling this microtheory I am not playing the game; the theory is intended only to provide an atmosphere, and like the reader of a novel, I am supposed to suspend disbelief. But the contention that science has driven us from a psychological Garden of Eden depends heavily on such word pictures.

By the way, I recall from my last sabbatical at M.I.T. that the feeling of hunger is more of ten the direct social stimulus for eating for the “hackers” deplored in Chapter 4 than it could have been for primitive man. Often on a crisp New England night, even as the clock strikes three, I hear them call to one another, messages flash on the screens, a flock of hackers magically gathers, and the whole picturesque assembly rushes chattering off to Chinatown.

I find the book substandard as a piece of polemical writing in the following respects:

  1. The author has failed to work out his own positions on the issues he discusses. Making an extreme statement in one place and a contradictory statement in another is rio substitute for trying to take all the factors into account and reach a considered position. Unsuspicious readers can come away with a great variety of views, and the book can be used to support contradictory positions.

  2. The computer linguists -- Winograd, Schank, et.al. -- are denigrated as hackers and compulsive computer programmers by innuendo.

  3. One would like to know more precisely what biological and psychological experiments and computer applications he finds acceptable. Reviewers have already drawn a variety of conclusions on this point.

  4. The terms “authentic”, “obscene”, and “dehumanization" are used as clubs. This is what mathematicians call “proof by intimidation”.

  5. The book encourages a snobbery that has no need to argue for its point of view but merely utters code words, on hearing which the audience is supposed applaud or hiss as the case may be. The New Scientist reviewer certainly salivates in most of the intended places.

  6. Finally, when moralizing is both vehement and vague, it invites authoritarian abuse either by existing authority or by new political movements. Imagine, if you can, that this book were the bible of some bureaucracy, e.g. an Office of Technology Assessment, that acquired power over the computing or scientific activities of a university, state, or country. Suppose Weizenbaum’s slogans were combined with the bureaucratic ethic that holds that any problem can be solved by a law forbidding something and a bureaucracy of eager young lawyers to enforce it. Postulate further a vague Humane Research Act and a “public interest” organization with more eager young lawyers suing to get judges to legislate new interpretations of the Act. One can see a laboratory needing more lawyers than scientists and a Humane Research Administrator capable of forbidding or requiring almost anything.

I see no evidence that Weizenbaum forsees his work being used in this way; he doesn’t use the phrase laissez innover which is the would—be science bureaucrat’s analogue of the economist’s laissez faire, and he never uses the indefinite phrase “it should be decided” which is a common expression of the bureaucratic ethic. However, he has certainly given his fellow computer scientists at least some reason to worry about potential tyranny.

Let me conclude this section with a quotation from Andrew D. White, the first president of Cornell University, that seems applicable to the present situation - not only in computer science, but also in biology-. “In all modern history, interference with science in the supposed interest of religion, no matter how conscientious such interference may have been, has resulted in the direst evils both to religion and to science, and invariably; and, on the other hand, all untrammelled scientific investigation, no matter how dangerous to religion some of its stages my have seemed for the time to be, has invariably resulted in the highest good both of religion and of science”. Substitute morality for religion and the parallel is clear. Frankly, the feebleness of the reaction to attacks on scientific freedom worries me more than the strength of the attacks.

WHAT WORRIES ABOUT COMPUTERS ARE WARRANTED?

Grumbling about Weizenbaum’s mistakes and moralizing is not enough. Genuine worries prompted the book, and many people share them. Here are the genuine concerns that I can identify and the opinions of one computer scientist about their resolution: What is the danger that the computer will lead to a false model of man? What is the danger that computers will be misused? Can human— level artificial intelligence be achieved? What, if any, motivational characteristics will it have? Would the achievement of artificial intelligence be good or bad for humanity?

  1. Does the computer model lead to a false model of man. Historically, the mechanistic model of the life and the world followed animistic models in accordance with which, priests and medicine men tried to correct malfunctions of the environment and man by inducing spirits to behave better. Replacing them by mechanistic models replaced shamanism by medicine. Roszak explicitly would like to bring these models back, because he finds them more “human”, but he ignores the sad fact that they don’t work, because the world isn’t constructed that way. The pre-computer mechanistic models of the mind were, in my opinion. unsuccessful, but I think the psychologists pursuing computational models of mental processes may eventually develop a really beneficial psychiatry.

    Philosophical and moral thinking hasn’t yet found a model of man that relates human beliefs and purposes to the physical world in a plausible way. Some of the unsuccessful attempts have been more mechanistic than others. Both mechanistic and non—mechanistic models have led to great harm when made the basis of political ideology, because they have allowed tortuous reasoning to justify actions that simple human intuition regards as immoral. In my opinion, the relation between beliefs, purposes and wants to the physical world is a complicated but ultimately solvable problem. Computer models can help solve it, and can provide criteria that will enable us to reject false solutions. The latter is more important for now, and computer models are already hastening the decay of dialectical materialism in the Soviet Union.

  2. What is the danger that computers will be misused? Up to now, computers have been just another labor-saving technology. I don’t agree with Weizenbaum’s acceptance of the claim that our society would have been inundated by paper work without computers. Without computers, people would work a little harder and get a little less for their work. However, when home terminals become available, social changes of the magnitude of those produced by the telephone and automobile will occur. I have discussed them elsewhere, and I think they will be good - as were the changes produced by the automobile and the telephone. Tyranny comes from control of the police coup led with a tyrannical ideology; data banks will be a minor convenience. No dictatorship yet has been overthrown for lack of a data bank.

    One’s estimate of whether technology will work out well in the future is correlated with one’s view of how it worked out in the past. I think it has worked out well e.g. cars were not a mistake and am optimistic about the future. I feel that much current ideology is a combination of older anti—scientific and anti—technological views with new developments in the political technology of instigating and manipulating fears and guilt feelings.

  3. What motivations will artificial intelligence have?
    It will have what motivations we choose to give it. Those who finally create it should start by motivating it only to answer questions and should have the sense to ask for full pictures of the consequences of alternate actions rather than simply how to achieve a fixed goal, ignoring possible side—effects. Giving it human motivational structure with its shifting goals sensitive to physical state would require a deliberate effort beyond that required to make it behave intelligently.

  4. Will artificial intelligence be good or bad?
    Here we are talking about machines with the same range of intellectual abilities as are posessed by humans. However, the science fiction vision of robots with almost precisely the ability of a human is quite unlikely, because the next generation of computers or even hooking computers together would produce an intelligence that might be qualitatively like that of a human, but thousands of times faster. What would it be like to be able to put a hundred years thought into every decision? I think it is impossible to say whether qualitatively better answers would be obtained ; we will have to try it and see.

    The achievement of above—human—level artificial intelligence will open to humanity an incredible variety of options. We cannot now fully envisage what these options will be, but it seems apparent that one of the first uses of high—level artificial intelligence will be to determine the consequences of alternate policies governing its use. I think the most likely variant is that man will use artificial intelligence to transform himself, but once its properties and the conequences of its use are known, we may decide not to use it. Science would then be a sport like mountain climbing; the point would be to discover the facts about the world using some stylized limited means. I wouldn’t like that, but once man is confronted by the actuality of full AI. they may find our opinion as relevant to them as we would find the opinion of Pithecanthropus about whether subsequent evolution took the right course.

  5. What shouldn’t computers be programmed to do.
    Obviously one shouldn’t program computers to do things that shouldn’t be done. Moreover, we shouldn’t use programs to mislead ourselves or other people. Apart from that, I find none of Weizenbaum’s examples convincing. However, I doubt the advisability of making robots with human-like motivational and emotional structures that might have rights and duties independently of humans. Moreover, I think it might be dangerous to make a machine that evolved intelligence by responding to a program of rewards and punishments unless its trainers understand the intellectual and motivational structure being evolved.

    All these questions merit and have received more extensive discussion, but I think the only rational policy now is to expect the people confronted by the problem to understand their best interests better than we now can. Even if full AI were to arrive next year, this would be right. Correct decisions will require an intense effort that cannot be mobilized to consider an eventuality that is still remote. Imagine asking the presidential candidates to debate on TV what each of them would do aboux each of the forms that full AI might take.

References:

McCulloch, W.S.(1956) Toward some circuitry of ethical robots or an observational science of the genesis of social evaluation in the mind-like behavior of artifacts. Acta Biotheoretica, XI, parts 3/4, 147—156

This review is filed as WEIZEN.REV[PUB,JMC] at SU-AI on the ARPA net. Any comments sent to JMC@ SU-AI will be stored in the directory PUB,JMC also known as McCarthy’s Electric Magazine. The comment files will be designated WEIZEN.1, WEIZEN.2, etc.

--

John Mccarthy
Artificial Intelligence Laboratory
Stanford, California 94305
September 16, 1976