以下は DARPA が 1970 年代に記録したドキュメント Three Reviews of J. Weizenbaum's COMPUTER POWER AND HUMAN REASON に収録されている４番目のメモランダムです。
このドキュメントには Joseph Weizenbaum の著書 Computer Power and Human Reason に対する３編の書評が収録されてますが、 最後の John McCarthy の書評 AN UNREASONABLE BOOK に対する著者 Joseph Weizenbaum の反論を語ったメモランダム全文を日本語訳とともに掲載してます。
McCarthy が指摘した論点に対して Weizenbaum は非常に明確な回答をしていますが、 その内容は幼少期にナチスのユダヤ人迫害を実体験をした Weizenbaum ならではの時代を超越した迫力があります。 情報倫理 の歴史的な資料としても重要だと思いますので お時間があれば是非目を通してもらえると良いかと思います。
ジョン・マッカーシーへの返答
ジョセフ・ワイゼンバウム
ジョン・マッカーシーによる『コンピューターパワーと人間の理性』の書評の良し悪しはともかく、 ブームで取られた立場が「新左翼」の政治イデオロギーに由来するという彼の度重なる主張によって、 その良さは台無しになっている。 少し前までは、「ピンコ（pinko）」や「コミー（commie）」という用語が、 マッカーシー氏の書評で「新左翼」に割り当てられた機能を果たしていた。 ジョン・マッカーシーが彼の批評で見せたような歴史観の乏しい人々でさえ、 米国が通過したばかりの悲劇的な数十年の出来事から何かを学んだかもしれない。 この展示がなければ、学術的な議論に参加するすべての人が、 無関係な政治的関連性による議論を放棄しているものと思っていただろう。
マッカーシーが "外部の観察者 "に警告している、 この本がMIT内部で起こっている学位や終身在職権の決定などをめぐる闘争に突き動かされているというのは、 奇妙でばかげた話である。これは、この書評とその著者に対する新たな汚点である。 このような戦術は単に下品なだけである。
私は、ジョン・マッカーシーが私の本の "要点 "を誤解していることに心を痛めている。 この本の実際の要点は、要点が１つである限りにおいて、 それがコンピュータの比喩であれ、科学であれ、宗教であれ、 政治的教義であれ、何であれ、世界を見る単一の方法だけでは、 人間の理解する可能性に値する世界の理解を得るには十分ではないということである。
マッカーシーは、この本が次のような主な点を指摘していると見ている：
1. コンピュータは人間ほど強力に思考することはできない。
私は「......少なくとも原理的には、［コンピュータが］達成できる知性の程度に上限を設定する方法はを見いだせない」と書いた（p.210）その後、私はコンピュータの社会化、つまり、世界との経験からの知識の獲得が、人間の社会化と必然的に異なる必要があると主張した。そのため、コンピュータの知性は、ある種の人間の事柄に関して常に人間の知性とは異なるはずである。（p.213）私は決してコンピュータの「推論力」を制限してはいない。全体的には、根拠（reason）と権威（power）との独断的な結びつきに対して攻撃しているのである。この結びつきは時代精神の一部であるため、一途な技術愛好家たちは（コンピュータであろうとなかろうと）権威の問題に焦点を当てないで、根拠について議論するとは考えられないのである。マッカーシーが彼自身の関心事を無闇に私に投影し、それを私の「要点」として帰属させていることが、そのさらなる証拠である。
2. コンピューターにプログラムさせるべきではない仕事がある。
そう、それは純粋にこの本の主旨である。 そして、マッカーシーの言う通り、 どんな時も行われてはいけないタスクはコンピュータにも行わせてはいけないという点で正しく指摘している。 マッカーシーと私は、特定の状況下で心理療法が実践されるべきだという点で意見が一致している。 私は機械が行う心理療法に反対であり、 マッカーシーには、もしそれが人々を「治療する」ためであれば、 （「新左翼」の動機から生じるもの以外に） 何らかの反対理由があるとは思えないとしている。 前頭葉切除手術（ロボトミー）は、ある種の精神障害を「治す」ことがある。 しかし、その患者にとって、そして私が付け加えたいのは外科医にとって、 どのような代償が伴うのか？ということである。 私は機械が行う心理療法が、 人間文化にとって負担がかかりすぎると考えている。 この信念に異論を唱えることはできるが、 まずそれを理解し、考慮に入れる必要がある。
別のところで私は、 ある個人が一人の人間として扱われない限り、 その個人は人間性を否定されると述べている。 多くの外科医が患者や一般的な人々を いかに非人道的に扱っているかを思い出せば、 そのことが今回の議論と関連していることがわかるだろう。 彼らは長年、患者を主に切ったり縫ったりする対象として見てきた結果、 その患者をただのモノとしか見なくなっている。 多くの外科医は、最終的にはすべての人を、 とりわけ自分自身を、この狭い視野で見るようになる。 似たようなことは他の職業にも当てはまる。 もちろん、私たち全員が、多種多様な状況で接する人々に対して、 臨床的な態度をとることは効果的だし必要である。 外科医は、実際にメスを振るっている間、 患者との間に心理的な距離を置くことができなければ、 実際に生きた肉体の中に入っていくことはできない。 しかし、自分の内なるどこかで、 患者を一人の人間として認識していなければならない。 さらに重要なことは、 患者が自分自身を単なるモノとみなすことを強要されるような、 あるいは単に勧められるような状況に決して陥ってはならないということである。 私が恐れているのは、 コンピューターによる心理療法が、その対象となる患者に、 このような自己イメージを必然的に植えつけてしまうことである。 基本的に、これが私の「それに対する」反対意見なのである。 このようなシステムが「治療」という言葉の合理的な意味において、 つまりその言葉の広範囲な解釈において、 どのように人々を「治療」できるとは私には思えない。
3. 科学は人々を間違った世界観や人生観に導いてきた。
科学が導く人生観に「正しい」も「間違っている」もない。 マッカーシーがここで誤解しているのは、 科学やその他のシステムや思想が、 世界や人生に対する唯一の正当な視点として受け入れられるということは、 世界や人生に対する貧しい見方に導くということだ。
4. 科学は、信頼できる一般的知識の唯一の、あるいは主要な情報源ではない。
マッカーシーは、 自分の子供たちが生物学的に自分の子供たちであるとか、 また彼が自分の母親として知っている人が生物学的な親であるといった知識は、 どの程度信頼性があるものと考えているのだろうか？ 科学は彼のこのような知識の源なのだろうか？ マッカーシーが大人になってから取った本当に重要な行動のうち、 科学的に検証された知識に基づいているのはどれくらいあっただろうか？ 古代人は信頼できる知識を持っていたのだろうか？ それとも、私たちが信頼できる知識を持っていたのは、 英国王立協会、あるいはスタンフォードのＡＩ研究所の設立以降だけなのだろうか？
5. 特定の人々や機関が攻撃されている。
私は「悪い」と呼ぶべき人々は非常に少ないと考えているが、 ヒトラーやヒムラーがその例だ。 マッカーシーがリストアップしている人たちの中には、 間違っていることも多いし、 特に素人向けに話したり書いたりするときには無責任な行動をとることもあると思う。 この点については、ＡＩコミュニティの内でも広く意見が一致しているようだ。 私は、挙げられた何人かの人々が表明している見解は危険だと思う。 このような意見は抑圧されるのではなく、議論されるべきだ。 私の本は、必要な議論に貢献するものだ。 私の見解が間違っていると思う人もいるだろうし、 おそらく危険だと思う人もいるかもしれない。 もし彼らが私の見解を軽蔑以上の価値があると考えるのであれば、議論すべきだ。 マッカーシーは私を「悪者」だと思っているのだろうか？ 私はそうは思わない。では彼が言及した人々を、 私は「悪い」と信じなければならないのか？
私の見解では「国防省」は全体的に悪い。 そして、この引用符は、 世界中のほとんどの人々の目、 特にオーウェルを読んだことのある多くの人々の目には、 まったく適切なものであると思う。 もし皇帝が服を着ていないなら、 私たちは彼が服を着ていないと言うべきだ。
その他の発言について:
私は「20年経っても問題が解決しないなら、あきらめるべきだ」 とは言っていないし、そう信じてもいない。私は 「...コンピュータに何ができるかについて、 現在の無知だけを理由に不可能性を論争をするのは...間違っている」(p.198)と言っている。 これは、マッカーシーが彼の発言を非難しているのとは正反対である。
私は「国防総省が電話の会話を盗聴するために音声認識の研究を支援している」 とは言っていないし、仄めかしたりもしていない。 マッカーシーの言葉を借りれば「偏見に満ち、根拠のない、誤った、おそらく悪意に動かされた」ものだ。 私は「このプロジェクトは、その主要なスポンサーの目には、 完全に自動化された戦場に向けた長い一歩だと映っている」 と書いた。そして 「音声認識が実現すれば、政府のような大組織はそれを盗聴などに使うだろう」 という私の意見を述べた。 「ＮＳＡは米国から出る事実上すべてのケーブル、テレックス、 その他電話以外の通信を盗聴し、 その内容から情報を選別し得るためにコンピューターを使用している」 という報道 (F.Y.I., August 31 1973) が私の考えを裏付けていると信じている。 この作戦から電話通信が除外されているのは、 自動音声認識システムがあれば取り除ける技術的制限の結果であることは明らかである。
注9、286ページの引用は匿名である。 なぜなら、その人物は、私が彼の名前を引用しないことを条件に、 彼の内部メモからの引用を許可したからである。 私に約束違反を迫る ジョン・マッカーシーもいい迷惑である。
私は「原始的なナンの生活を理想化」しているわけではない。 人間がテクノロジーに傾倒することで生じる損失（確かに損失はあったし、今もある）に言及する者を、 テクノロジー以前の時代への回帰を提唱していると非難するのは、 テクノロジー愛好家がよくやる安っぽいやり方だ。 私が知る限り、現代の作家は皆、 人間の歴史にテクノロジー以前の時代が存在したはずがないこと、 そしてその歴史を覆すことはできないことを知っている。 しかし、現在のテクノロジーへの傾倒に伴うコストを認識し、理解すること、 そして、あまりにも近いと思われるコストを削減する方法を模索することは重要である。 そこに反テクノロジー的、反科学的、反知性的なものはない。
マッカーシーは、私の 「自分が誰であり、何であるかを知っている人は、自分が何をすべきかを尋ねる必要はない」 という発言が「脅迫的」であると指摘し、 特定のケースに適用するためには神権が必要だと考えている。 この発言は、私が 「人々は常に自分が何をすべきか専門家に尋ねている」 という事実を示唆した文脈（p.273）で出てくる。 私は、人々が道徳的な質問について「専門家」の指導を必要とするとは思わない。 この発言自体は、 人々に何をすべきかを伝えるためには神官階級が必要ないことを主張していて、 マッカーシーの正反対の分析には非常に驚いている。
私の主張である 「個人が一人の人間として扱われない限り、非人間化される」 はあくまでも事実を述べたものである。 マッカーシーが「エンカウンター・グループのムーブメント」の カテキズム の一部であると同じような発言を信じているからと言って、 私に恥ずかしいとか罪悪感を感じることは理解できない。 ちなみに、私はこの種の話題には、 ほとんど知識がないことを言い添えておく。
ジョン・マッカーシーには、ニューレフトやエンカウンター・グループ・ムーブメント、 あるいはナンフォード、ロザック、アリュールが抱くいかなる考えも間違いであり、 脅威であること、そして「誰もがすぐに潜在的な中心や権力の周りに結晶化する神官」 の一部として使用されることを証明する論理的な説明があるのだろうか？ （ここでもまた、マッカーシーの権力への偏執の証拠が見られる）
最後に、マッカーシーは 「哲学的・道徳的思考は、人間の信念を物理的世界ともっともらしく関連づける人間のモデルを発見したことがない」 と断言する。 哲学と道徳の文献をすべてマスターした者だけが、そのようなことを言う権威を持ちうるのだ。 まさに神のような謙虚さである！ ジョン・マッカーシーとジョセフ・ワイゼンバウムを隔てる距離は、 まさにこの２人が互いに投げかける挑戦によって測られる。 マッカーシーはワイゼンバウムに「科学以外に知識への道を示せ！」と挑発する。 そしてワイゼンバウムは答える。 「哲学的、道徳的思考を含まず、 究極的にはそれに依存しないような、 真の人間モデルへの道があり得るだろうか？」
だから、私たちはお互いを理解し得ないのも無理はない。
A RESPONSE TO JOHN McCARTHY
JOSEPH WEIZENBAUM
Whatever the merit of John McCarthy's review of Computer Power and Human Reason may be, it is all but undone by his repeated assertion that the positions taken in the boom are derived from a "new left" political ideology. Not long ago the terms "pinko" or "commie" serve the function McCarthy assigns to "new left" in his review. I would have thought, but for this exhibit, that even people with as limited a sense of history as John McCarthy displays in his review might have learned something from the events of the tragic decades the United States has just passed through. I would have thought, but for this exhibit, that all participants in scholarly debates had by now renounced argument by irrelevant political association.
McCarthy's warning to "the outside observer" that the book is motivated by a struggle over academic appointments, tenure decisions, etc. going on within M.I.T. is bizarre and absurd. It is another blot on the review and, I would say, on its author. Such tactics are simply indecent.
I am disturbed by John McCarthy's misreading of my book's ”main points." The books actual main point, to the extent that there is one main point, is that no single way of seeing the world, whether it he that of the computer metaphor, of science, of religion, or some political dogma, or of whatever, is sufficient to yield an understanding of the world worthy of the human potential to understand.
McCarthy sees the book making the following main points:
1. COMPUTER CANNOT BE MADE TO RESION AS POWERFULLY AS HUMANS
I wrote: "...I see no way to put a bound on the degree of intelligence [a computer] could, at least in principle, attain." (p.210) I then go on to argue that a computer's socialization, that is, its aquisition of knowledge from its experience with the world, must necessarily be different from the socialization of human beings. computer's intelligence must therefore be always alien to human intelligence with respect to a certain range of human affairs. (p. 213) Nowhere do I limit the computer’s "reasoning power." The whole been is, however, an attack on the dogmatic coupling of reason to power. This coupling is so much part of the Zeitgeist that single-mindedly committed technological enthusiasts simply cannot conceive of a discussion of reason - whether by computers or not - that is not at the same time centered on questions of power. McCarthy's gratuitous projection of his own preoccupations unto me in the form of his attribution to me of this "main point" is further evidence for that.
2. THERE ARE TASKS THAT COMPUTERS SHOULD NOT BE PROGRAMMED TO DO.
Yes, that is genuinely a main point of the book. And McCartny is right in observing that task that should not be done at all should not be done by computers either. McCarthy and I agree that psychotherapy should under some circumstances be practiced. I am opposed to machine administered psychotherapy and McCarthy cannot see what objections there right be to it (other than those that arise from "new left" motivations) if it were to "cure" people. Prefontal lobotomy "cures" certain mental disorders. But at what price to the patient and, I would add, to the surgeon as well? I believe that machine administered psychotherapy would induce an image of what it means to be human that would be prohibitively costly to human culture. One may disagree with this belief. But one would first have to understand it and to take it into account.
Elsewhere I say that an individual is denumanized whenever he treated as less than a whole person. The relevance of that to the present discussion can be seen if one recalls how inhumanely many surgeons treat their patients and people generally. They have, after many years of seeing their patients mainly as objects to be cut and sewed, cone to see then as nothing more than objects. Many surgeons eventually see everyone, most importantly themselves, in this narrow way. Similar remarks apply to other professions. It is of course necessary for all of us to adobt an effectively clinical attitude toward people we deal with in a large variety of situations. The surgeon could not actually out into living flesh were he not able to impose a psychological distance between himself and his patient while actually wielding the scalpel. But somewhere in his inner being he should hold on to his perception of his patient as a whole person. Even more importantly, the patient must never be led into a situation in which he is forced, or even merely encouraged, to regard hisself as a mere object. By fear is that computer administered psychotherapy necessarily induces just this kind or self-image in the patients who would be subject to it. That, basically, is my objection ‘to it. I cannot see how such a system could "cure" people in any reasonable sense of the word "cure", that is, in a sufficiently encompassing interpretation of that word.
3. SCIENCE HAS LED PEUPLE TO A WRONG VIEW OF THE WORLD ANE LIFE.
There is no "correct" or "wrong" view of life to which science or anything else can lead. The point McCarthy here misconstrues is that science, or any other system or thought, leads to an impoverished view of the world and of life when it or any system is taken to be the only legitimate perspective on the world and on life.
4. SCIENCE IS NOT THE SOLE ON EVEN THE MAIN SOURCE OF KNOWLEDGE.
How reliable would McCarthy say is his knowledge that his children are biologically his children or that the person he knows as his Mather is his biological father? Is science his source of such knowledge? what proportion of the truly important actions McCartny has taken in the course of his adult life were predicated solely or even vainly on knowledge he validated by appeals to science? Did the ancients have reliable knowledge? Or have we had reliable knowledqe only since the founding of the Britisn Royal Society - or that of the Stanford AI Lab - or not yet at all?
5. CERTAIN PEOPLE AND INSTITUTIONS ARE BAD.
I know of very few people I would call "bad" - hitler and Himmler are examples. I think some of the people McCarthy lists are often wrong and sometimes behave irresponsibly especially when they speak to and write for lay audiences. There appears to be wide agreement on that within the AI community itself. I think the views expressed by some of the people mentioned are dangerous. These views should be discussed, not suppressed. My book contributes to the required discussion. Some people will surely find my views wrong and perhaps even dangerous. If they think my views worthy of more than contempt, they should discuss them. Does McCarthy think I am "bad?" I don't believe so. why then should he believe I think the people he mentions are bad?
The Department of "Defense" is, in my view, on the whole bad. And the quotation marks are, I would guess, entirely appropriate in the eyes of most of the people of the world -- especially in the eyes of many who have read Orwell. If the emperor wears no clothes, we should say he wears no clothes.
Other remarks:
I do not say and I do not believe that "if the problem hasn't been solved in twenty years, we should give up." I say (p. 198) "... it would be wrong ... to make impossibility arguments about what computers can do entirely on the grounds of our present ignorance." That is quite the Opposite of what McCarthy charges he with saying.
I do not say or imply that "the Defense Department supports speech recognition research in order to be able to snoop on telephone conversations." Attributing this view to me is, in McCarthy's words, "tiased, baseless, false, and [seemingly] motivated by malice." I wrote: "this project then represents, in the eyes of its chief sponsor, a long step toward a fully automated battlefield." I then state my opinion that, should we get speech recognition, large organizations such as the government would use it for snooping, etc. I believe that. my belief is buttressed by the revelations (F.Y.I., August 31 1973) that the "NSA eavesdrops on virtually all cable, Telex and other non-telephone communications leaving the U.S. and uses computers to sort and obtain intelligence from the contents ..." (emphasis nine). Clearly the exelusion of telephone communications from this operation is a consequence of only technical limitations that would be removed if we has automatic speech recognition systems.
The reference cite: in note 9, page 286, is anonymous because the person in question granted we permission to quote from his internal memorandum on the condition that I not cite his name. It is not nice or John McCarthy to press me to violate my word.
I do not "idealize the life of primitive nan." it is a cheap shot often practiced by technological enthusiasts to charge anyone who mentions a loss entailed by man's commitment to technology (and there surely have been and are losses) with advocating a return to pretechnological times. Every modern writer I know of knows that there cannot have been a pretechnological time in the history or what we would call man, and that history cannot be reversed. But it is important that we recognize and understand the costs associated with our current commitment to technology and that we seek for ways to reduce the costs at seem too nigh. There is nothing anti-technological, anti-scientific, or anti-intellectual in that.
McCarthy suggests that my statement "Those who know who and what they are so not need to ask what they should do" is ”menacing" in that he believes it to require a priesthood to apply it to a particular case. The statement appears in a context (p.273) in which I had just alludes to the fact that people are constantly asking exports what they should do. I don't believe people need "expert" guidance on moral questions. The statement, on its very face, argues that no priesthood is ever necessary to tell people what they must do. I find McCarthy's exact opposite analysis extremely puzzling.
My assertion that "An individual is dehumanized whenever he is treated as less than a whole person" is singly a statement of fact. It is incomprehensible to me that shame or guilt tall or me because McCarthy believes similar statements to he part of the catechism at the "encounter group movement," about which, by the way, I know next to nothing.
Does John McCarthy have a logical calculus witain which he has proved that any idea held by the new left or the encounter group movement or by numford, Roszak, or allul is wrong, a menace, and certain to do used as part or the arsenal or "priests who quickly crystallize around any potential center or power?" (here again we see evidence of McCarthy's preoccupation with power.)
Finally, McCarthy asserts "Philosophical and moral thinking has never found a model of man that relates human beliefs to the physical world in a plausible way.” Only someone who has mastered the entire philosophical and moral literature could have the authority to say that. what truly God-like humility! The distance that separates John McCarthy from Joseph Weizenbaum is truly measured by the challenges these two hurl at one another. McCarthy defies Weizenbaum to ”Show me a way to knowledge besides science!" And Weizenbaum responds. “Can there be a way toward an authentic model of man that does not include and ultimately rest on philosophical and moral thinking?"
No wonder we talk past one another.
