Wikipedia ー Removal of Sam Altman from OpenAI

WikipediaRemoval of Sam Altman from OpenAI を翻訳してみました。




サム・アルトマンのOpenAI退任

2023年11月17日、 OpenAIの取締役会は、 共同創業者で最高経営責任者(CEO)のサム・アルトマンに対する信頼を失ったとして、 これを退任させると発表しました。

その約107時間後、 投資家からの激しい圧力とOpenAI従業員の大量退職の恐れに直面した同社は、 アルトマンが再構成された非営利法人の取締役会とともにCEOとして返り咲くことで大枠合意したと発表しました。 この非営利法人はOpenAIの営利企業を監督しています[1]。 混乱した4日半の間にCEOが3度も交代する異例の事態となりました[1]。

背景

OpenAI

OpenAIは2015年12月に非営利組織として設立され、 人類の福祉の向上のために人工知能の研究を行うことをミッションとしていました[2]。 共同設立者にはイーロン・マスク、サム・アルトマン、グレッグ・ブロックマン、 コンピュータ科学者のイリヤ・サツケバーなどが名を連ねていました。

2019年にマスクから独立し、 高額なコンピューティングパワーに必要な資金調達の圧力に直面したOpenAIは、 マイクロソフトから10億ドルの現金とクラウド利用権限の形式で出資を受け入れる営利部門を新設しました[3]。 この営利部門は当初の非営利組織の取締役会に報告を行っていました[3]。

2022年11月、 組織の営利部門がチャットボット「ChatGPT」をリリースしました[4]。 これは世界で最も急成長を遂げた消費者向け製品となり、 生成型AIへの再び関心が高まるきっかけとなりました[5]。 2023年10月の時点で、 OpenAIは800億ドルを超える企業価値で資金調達を進めており[6]、 年間収入が10億ドルに達する見込みだと報じられていました[7]。

アルトマン解任時点で、 親会社の非営利法人の取締役会は、 会長を務めるブロックマンに加え、 アルトマン、サツケバー、 Q&AサイトQuoraのCEOアダム・ダンジェロ、 起業家のターシャ・マッコーリー、 そしてシンクタンク 「Center for Security and Emerging Technology」 の戦略ディレクター、 ヘレン・トーナーで構成されていました[8]。

OpenAI は意図的な意思決定により、 投資家の支配を避けるために[10]、 独特の構造をとっています[9]。 非営利のOpenAI Inc.を統括する取締役会が存在し、 これが営利企業である子会社のOpenAI Global LLCと、 従業員や投資家が所有する持株会社を所有・管理しています。 持株会社がOpenAI Global LLCの過半数の株式を保有しています。 マイクロソフトはこの利益付き会社で少数持ち株を有しています[11]。 OpenAIの付則では、 2016年1月に制定されたとおり、 取締役会の過半数が書面による同意で、 事前警告や正式な会合を要することなく、 任意の役員を解任できることになっています[3]。

サム・アルトマン

サム・アルトマンはOpenAIの共同設立者で、 以前は最高経営責任者(CEO)を務めていました。 2018年の共同議長イーロン・マスクの辞任後、 アルトマンが同社の指揮を取りました[2]。 アルトマンの下で、OpenAIは営利企業への移行を進めました。 アルトマンは、 マイクロソフトのCEOサティア・ナデラに対し、 OpenAIへの100億ドル規模の現金とクラウド利用権の投資を納得させ、 企業価値を3倍に引き上げる一連の株式公開買付を主導したことでも知られています[12]。 アルトマンはアメリカ合衆国議会の前で人工知能を批判的に証言したことがあり[13]、 2023年のAI安全サミットにも登壇しました[14]。

解任の数日前では、 アルトマンはOpenAIの開発者会議でGPT-4 Turboプラットフォームを発表したほか、 アメリカ・アジア太平洋経済協力(APEC)の首脳会議に出席し[4]、 バーニングマン関連のイベントで講演を行うなど、公の場に数多く姿を現しました[15]。

解任に至る経緯

リンクトインの共同設立者リード・ホフマン、 ベンチャーキャピタリストのシヴォン・ジリス、 そして元共和党議員のウィル・ハードの取締役退任により、 残りのメンバーによるアルトマン解任が可能になりました[3]。 カーラ・スウィッシャーとウォール・ストリート・ジャーナルによると[16]、 サツケバーがアルトマン解任に決定的な役割を果たしたとされます[17]。 解任前から、 人工知能の安全性を巡って従業員の間で対立が起きていました[18]。 ChatGPTのリリースは、 人工知能の安全性への考慮なく営利を追求するOpenAIと、 その能力に警戒心を抱く非営利組織との間の亀裂を生み出しました。 The Atlanticが入手した2019年のスタッフへの電子メールで、 アルトマンはこうした対立を「部族」と表現していました[19]。

ロイターとThe Informationは、 CEO解任前に一部のOpenAIの研究者が、 企業が取り組んでいた新しいAIモデルの能力を懸念していたと報じました。 The Informationによると、 「Q*」モデルはそれまで目にしたことのない数学の問題を解くことができる可能性を秘めており、 技術的なブレークスルーを示唆するものでした。 複数のスタッフ研究者が取締役会に手紙を送り、 人類を脅かしかねない強力な人工知能の発見を警告しました[20]。 情報源はこの手紙を、 アルトマン解任に至る取締役会の不満の長いリストの一因としています。 その中には、 結果を理解する前の商業化に対する懸念も含まれていました[21]。 OpenAIの広報担当リンズリー・ヘルド・ボルトンはThe Vergeに送った声明でこの見方に異議を唱え、 「(CEOの)ミラが従業員にメディア報道の内容を告げたが、 情報の正確性についてはコメントしなかった」と述べています。 さらにThe Vergeの事情に通じた情報源は、 取締役会がそのような革新的な発見に関する手紙を受け取っておらず、 研究の進展がアルトマンの突然の解任には影響しなかったと明かしました[22]。

解任前、 アルトマンは中東の主権財産ファンドから数十億ドルを調達し、 VIDIAと競争できる人工知能チップを開発しようとしていました。 またソフトバンク会長の孫正義とともに、 アップルの元デザイナージョニー・アイブを起用して 人工知能ハードウェアを開発することも図っていました。 サツケバーとその支持者はこれらの動きに反対し、 OpenAIの名前を利用するものだと見なしていました。 アルトマンは2023年10月にサツケバーの役割を縮小させ、 対立が深まりました。 サツケバーは取締役会の複数のメンバーに成功裏に訴えかけました[23]。 スウィッシャーとThe Vergeの記者アレックス・ヒースによると、 アルトマンの利益主導の戦略への反対は、 カスタムChatGPTインスタンスを発表したDevDayカンファレンスで[24]頂点に達したとされます[25]。 Axiosによると、 解任の原動力はアルトマンへの不満と不信の高まりでした[26]。

解任

2023年11月17日正午頃(太平洋標準時)[28]、 OpenAIの取締役会は「熟慮されたレビュープロセス」に基づき、 アルトマンを即時退任させることを決定しました。 新CEOに最高技術責任者(CTO)のミラ・ムラティが就任しました。 取締役会はブログ記事で、 アルトマンが「コミュニケーションにおいて一貫性に欠けている」と判断したと述べました[29]。 同時に、会長であるブロックマンも取締役を解任される一方、 社長として新CEOの下で働くことになりました。

11月16日の夕方、 アルトマンはサツケバーから翌日正午にGoogle Meetで会議に出席するようテキストで要請を受けました。 アルトマンは会議の目的を30分前まで知らされていませんでした。 解任はボードとのGoogle Meetでラスベガスグランプリを視聴しながら、 起きる5~10分前にサツケバーから告げられました。 その直後、OpenAI会長兼社長のブロックマンGoogle Meetに招集され、 アルトマン解任と自身の取締役解任を知らされました。 取締役会は30分後にブログとXというSNS上で公式発表を行いましたが、 主要投資家であるマイクロソフトにも事前通告はごくわずかでした。 このニュースはすぐに世界中に拡散していきました。

アルトマン解任から数時間後、 ブロックマンはOpenAIから完全に身を引きました。 研究ディレクターのヤクブ・パホツキや 研究者のアレクサンダー・マドリーと シモン・シドーらもこれに続きました。

解任の理由は不明のままでしたが、 迅速にOpenAIが適切な安全対策を講じることなくAI製品を事業化しようとする アルトマンと取締役会メンバーとの意見の対立に起因するとされました。 最高戦略責任者ジェイソン・クウォンがスタッフに送った社内メモによると、 取締役会との協議から、 アルトマンの解任は「不正行為」に基づくものではないことが明らかになったといいます。

解任当日の全社員ミーティングで、サツケバーはこの人事を正当化し、 敵対的買収の告発を否定しました。 OpenAI代表者は元取締役のウィル・ハードに出席を要請しました。

復帰への動き

発表から数時間以内に、 OpenAIの主要投資家がアルトマン復帰のための運動を始めました。

ブルームバーグ・ニュースによると、 マイクロソフトとスライブ・キャピタルがアルトマンの復帰を求めていました。 The Informationの報道では、 タイガー・グローバル・マネジメントとシークオイア・キャピタルも同調しました。

一日以内にOpenAIの取締役会はアルトマンの復帰交渉を開始しましたが、 アルトマンはガバナンスについての要求を出しました。 取締役会は大原則として辞任しアルトマン復帰を認めることで合意しましたが、 期限は過ぎてしまいました。 The Vergeによると、 アルトマンは復帰について悩んでおり、 取締役会の入替を含む企業の大幅な変更を求めるつもりだったとされます。

投資家側では、 取締役会が辞任した際の新メンバー候補リストが準備されており、 そこにはセールスフォースの元幹部ブレット・テイラーの名前が含まれていました。 最高戦略責任者のジェイソン・クウォンによると、 OpenAIはアルトマン、ブロックマン、 その他の従業員の復帰に楽観的だったといいます。

11月19日にはアルトマンとブロックマンが交渉のためにOpenAI本社に現れました。 調停役を務めたのはマイクロソフトのCEOサティア・ナデラでした。 ブルームバーグ・ニュースによると、 ムラティ、クウォン、 最高執行責任者のブラッド・ライトキャップは新しい取締役会を求めていました。 アルトマン復帰の条件として、 取締役会によるアルトマンの職務違反の免責が必要でした。

テイラーが新取締役会のメンバーになる予定であり、 マイクロソフト議席獲得を試みていました。 ウォールストリートジャーナルは、 エアビーアンドビーのCEOブライアン・チェスキーと 実業家のローレン・パウエル・ジョブズも候補に挙がっていたと報じました。 ムラティはアルトマンとブロックマンの再雇用を意図しており、 アダム・ダンジェロとこの動きについて話し合っていました。 The Vergeによると、アルトマンはサツケバーの支持を得てOpenAIに復帰するつもりだったといいます。

予想外の動きとして、 解任から60時間後の日曜の夜、 取締役会はアルトマンではなく、 Twitchの元CEOで効果的利他主義運動とのつながりを持つ エメット・シアをOpenAIのCEOに指名することを選択しました。 GitHubの元CEOナット・フリードマンと Scale AIのCEOアレックス・ワンが このポストへの就任を打診されたものの拒否したと報じられています。 かつてOpenAIで働いていた後にアンスロピックを立ち上げた ダリオ・アモディCEOは、 両社の合併につながり得る取引の交渉を拒否しました。

これを受けてマイクロソフトは、 アルトマンが新しいAI研究チームの責任者としてマイクロソフトに加入すると発表しました。 アルトマンにブロックマン、パホツキ、シドー、マドリーが続きました。

シアはアルトマンの解任が安全性を巡る対立に基づくものではないと述べ、 取締役会の商業化への支持がなければこの地位を受け入れなかったと明かしました。 30日間の計画の一環として、 アルトマン解任の理由について調査を始める意向を表明しました。

シア就任に対する抗議として、 何十人もの従業員が退職を表明しました。 翌日には、 770人の従業員のうち745人が連名で取締役会の辞任を要求する退職の恐れを示す書簡に署名しました。

署名者の中には取締役会メンバーのサツケバーもおり、 取締役会から離脱して取締役会の過去の行動への参加を公に謝罪しました。

11月21日、 OpenAIはアルトマンがテイラー、ダンジェロ、 経済学者のローレンス・サマーズらから成る暫定取締役会とともに 復帰するという大筋合意に達したと発表しました。 テイラーが会長に就任することになりました。

妥協案の一環として、 アルトマンとブロックマンは取締役に復帰しません。 アルトマンは内部調査に同意しました。

その後の影響

OpenAI

ニューヨーク・タイムズによると、 アルトマンの解任はOpenAIに「混乱」をもたらしたと報じられています。 従業員の圧倒的多数が、 取締役会がアルトマン解任の再考をしなければ集団退職をすると脅威をかけていました。

The Informationによると、 アルトマンの解任と続いて起きた従業員の集団退職の恐れにより、 スライブ・キャピタルによる860億ドル評価のTOBのリスクが生じていました。 The Informationは後に、 アルトマン復帰後もスライブ・キャピタルのTOBが継続すると報じました。

市場への影響

アルトマン解任の発表後、 マイクロソフトの株価は3%近く下落しました。 CoinDeskによると、 アルトマンが共同設立者のひとりである 虹彩生体認証暗号資産Worldcoinの価値は12%下がりました。 アルトマンを雇用した後のマイクロソフトの株価は2%以上上昇し、 過去最高値を更新しました。

アルトマンの解任発表は、 Anthropic、Quora、Hugging Face、Metaプラットフォーム、 グーグルなどOpenAIの競合他社に有利に働いたと見られています。

エコノミストは、 この解任がAI業界全体の進展を遅らせかねないと指摘しています。 The Informationによると、 Google DeepMindへの応募者が増加したほか、 CohereとAdeptがOpenAIの従業員獲得に積極的だったといいます。 複数の投資家がOpenAIへの投資をゼロに切り下げることを検討しており、 資金調達能力に影響が出ていました。 The Informationによると、 OpenAI利用の100社以上の企業がAnthropicに接触したほか、 グーグル・クラウド、 Cohere、 マイクロソフト・アジュールに手を挙げた企業もありました。

新規ベンチャーの可能性

The Informationによると、 アルトマンはブロックマンやOpenAIの従業員と新しいAIベンチャーを計画していたといいます。 シークオイア・キャピタルの投資家アルフレッド・リンと ベンチャーキャピタリストのヴィノド・コスラが、 アルトマンの潜在的な新規ベンチャーに興味を示しました。

法的措置

複数のOpenAI投資家が法的措置を検討していました。

反応

サム・アルトマン

アルトマンは冗談交じりに、 自分が「軌道を逸れ始めたら」OpenAIの取締役会が訴えるべきだと言及しました。 共同議長を務めたイーロン・マスクは取締役会に対し、 アルトマンの解任について透明性を保つべきだと主張しました。 アルトマンの味方たちは取締役会メンバーがクーデターを仕組んだと非難し、 OpenAIの何人かの従業員がアルトマンが投稿したハートの絵文字のついたツイートに反応し、 退職の用意があることを示しました。 グーグルの元CEOエリック・シュミットは、 アルトマンが解任された後、 自分にとって「ヒーロー」だと書きました。

技術業界の反応

Axiosによると、 マイクロソフトの経営陣は発表の1分前にアルトマンの解任を知らされ、 投資家には事前通知はなかったといいます。 サティア・ナデラCEOと最高技術責任者(CTO)のケビン・スコットは 解任後もOpenAIへの信頼を表明しましたが、 ブルームバーグ・ニュースによると、 ナデラは激怒したとされます。

Yコンビネーターの共同設立者ポール・グラハムは 取締役会のメンバーを「行儀の悪い子供」と呼びました。 投資会社サードポイントのCEOで マイクロソフトの株主でもあるダニエル・S・ローブは、 OpenAIが「驚くほど不適切なガバナンス」をしていると述べました。 フランスのデジタル移行大臣ジャン=ノエル・バロは、 アルトマンが「フランスで歓迎される」と表明しました。

従業員の書簡の後、 セールスフォースのCEOマーク・ベニオフが OpenAIの従業員を同等の給与で雇用することを申し出ました。 この申し出はマイクロソフトにも広げられました。

メディアの分析

アナリストのフレッド・ハブマイヤーは、 アルトマンの雇用についてナデラが「自身のクーデターを成功させた」と述べました。

有力技術メディアWiredの上級編集者スティーブン・レヴィは、 アルトマンの解任を1985年のスティーブ・ジョブスのアップル解任になぞらえました。 この比較はニューヨーク・タイムズでもなされています。 Axiosは取締役会が辞任しアルトマンにOpenAIを返すことができると指摘しました。 ニューヨーク・タイムズエズラ・クラインは、 OpenAIを支配する非営利法人の自己規制における役割について論じました。

Removal of Sam Altman from OpenAI

On November 17, 2023, OpenAI's board of directors removed co-founder and chief executive Sam Altman with a statement that it had no confidence in Altman's leadership.

Approximately 107 hours later, after an intense pressure campaign from investors and a threatened mass resignation of OpenAI’s employees, OpenAI announced that it had reached an agreement in principle to have Altman return as CEO with a reconstituted board of the non-profit entity which oversees the for-profit company.[1] Altman’s announced return was the third change of CEO announcement within a chaotic 4.5 day period.[1]

Background

OpenAI

OpenAI was founded in December 2015 as a non-profit entity whose mission was to do artificial intelligence research for the betterment of humanity.[2] Among its founders were Elon Musk, Sam Altman, Greg Brockman, and computer scientist Ilya Sutskever.

In 2019, after separating from Musk and facing pressure to raise money needed for costly computing power, OpenAI formed a for-profit division that took investment from Microsoft in the form of a billion dollars in cash and computer credits.[3] The for-profit entity reported to the board of the original non-profit entity.[3]

In November 2022, the for-profit division of the organization released the chatbot ChatGPT,[4] which became the fastest growing consumer product in the history of the world, contributing to a resurgence in generative artificial intelligence interest.[5] By October 2023, the company was reported to be raising money at a valuation greater than US$80 billion[6] and was set to bring in US$1 billion in annual revenue.[7]

At the time of the firing of the Altman, the board of directors of the controlling non-profit was composed of Brockman, who served as chairman; Altman; Sutskever; Adam D'Angelo, chief executive of Quora; entrepreneur Tasha McCauley, and Helen Toner, strategy director for the Center for Security and Emerging Technology.[8]

OpenAI is uniquely[9] structured, an intentional decision to avoid investor control.[10] A board of directors controls the non-profit OpenAI, Inc. The non-profit owns and controls a for-profit company itself controlling a capped-profit company, OpenAI Global, LLC and a holding company owned by employees and other investors. The holding company is the majority owner of OpenAI Global, LLC.; Microsoft owns a minority stake in the capped-profit company.[11] OpenAI's bylaws, enacted in January 2016, allow a majority of its board of directors to remove any director without prior warning or a formal meeting with written consent.[3]

Sam Altman

Sam Altman is a co-founder of OpenAI and its former chief executive; Altman took over the company following co-chair Elon Musk's resignation in 2018. Under Altman, OpenAI has shifted to becoming a for-profit entity.[2] Altman is credited with convincing Microsoft chief executive Satya Nadella with investing US$10 billion in cash and computing credits into OpenAI and leading several tender offer transactions that tripled the company's valuation.[12] Altman testified before the United States Congress speaking critically of artificial intelligence[13] and appeared at the 2023 AI Safety Summit.[14]

In the days leading up to his removal, Altman made several public appearances, announcing the GPT-4 Turbo platform at OpenAI's DevDay conference, attending APEC United States 2023,[4] and speaking at an event related to Burning Man.[15]

Events leading up to the removal

The resignation of LinkedIn co-founder Reid Hoffman, venture capitalist Shivon Zilis, and former Republican representative Will Hurd from the board allowed the remaining members to remove Altman.[3] According to Kara Swisher and The Wall Street Journal,[16] Sutskever was instrumental in Altman's removal.[17] Disagreements over the safety of artificial intelligence divided employees prior to Altman's removal.[18] The release of ChatGPT created divisions with OpenAI as a for-profit company without considerations for the safety of artificial intelligence and a non-profit cautious of artificial intelligence's capabilities; in a staff email sent in 2019 and obtained by The Atlantic, Altman referred to these divisions as "tribes".[19]

Reuters and The Information reported that some OpenAI researchers had been concerned by the capabilities of a new AI model being worked on the company before the CEO was fired. According to the Information, the “Q*” model was able to solve maths problems it had not seen before, representing a potential breakthrough in the technology.[20] Several staff researchers wrote a letter to the board of directors warning of a powerful artificial intelligence discovery that they said could threaten humanity. The sources cited the letter as one factor among a longer list of grievances by the board leading to Altman's firing, among which were concerns over commercializing advances before understanding the consequences.[21] OpenAI spokesperson Lindsey Held Bolton contested this perspective in a statement conveyed to The Verge, stating, "Mira told employees what the media reports were about but she did not comment on the accuracy of the information." Additionally, a source familiar with the situation informed The Verge that the board never received a letter regarding such a groundbreaking development, and the progress of the company's research did not factor into Altman's abrupt termination.[22]

Prior to his removal, Altman was seeking billions from Middle Eastern sovereign wealth funds to develop an artificial intelligence chip to compete with Nvidia and courted SoftBank chairman Masayoshi Son to develop artificial intelligence hardware with former Apple designer Jony Ive. Sutskever and his allies opposed these efforts, viewing them as using the OpenAI name. Altman reduced Sutskever's role in October 2023, furthering divisions; Sutskever successfully appealed to several members of the board.[23] Swisher and The Verge reporter Alex Heath stated that opposition to Altman's profit-driven strategy culminated in the DevDay conference[24] in which Altman announced custom ChatGPT instances.[25] According to Axios, the removal was driven by growing discontent and distrust with Altman.[26]

Removal

On November 17, 2023, at approximately noon pacific time,[28] OpenAI's board of directors ousted Altman effective immediately following a "deliberative review process", replacing him with chief technology officer Mira Murati. In a blog post, the board said it had concluded that that Altman was not "consistently candid in his communications".[29] Simultaneously, the board announced that board chair, Brockman, would be removed from his board position, but remain president of the company reporting to the new CEO.

On November 16 evening, Altman received a text from Sutskever asking him to attend a meeting at noon via Google Meet the next day. Altman did not learn about the subject of the meeting until 30 minutes before.[30] He was informed of his removal by Sutskever[20][30] five to ten minutes before it occurred[31] on a Google Meet[32] with the board while watching the Las Vegas Grand Prix.[33] Shortly thereafter,[34] OpenAI board chairman and president Brockman was invited to a Google Meet to inform him of Altman's removal, and his own removal from the board.[28] The board publicly announced Altman's removal thirty minutes later in a blog post and a post on X, with only short advance notice to major investor Microsoft. The news quickly ricocheted around the world.[35]

Hours after Altman's removal, Brockman resigned from the company entirely,[36] joined by director of research Jakub Pachocki and researchers Aleksander Madry and Szymon Sidor.[37]

The reasons behind the removal were a mystery, though quickly attributed to a disagreement between Altman and members of the board on how quickly OpenAI should be commercializing its AI products without proper safeguards in place. According an internal memo sent by OpenAI’s chief strategy officer, Jason Kwon, discussions with the board revealed Altman’s removal was not due to "malfeasance."[38]

During an all-hands meeting with the staff the day of the removal, Sutskever defended the ouster and denied accusations of a hostile takeover.[9] An OpenAI representative requested former board member Will Hurd's presence.[39]

Reinstatement efforts

Within hours of the announcement, major investors in OpenAI began campaigns to reinstate Altman.

Microsoft and Thrive Capital were seeking for Altman to return, according to Bloomberg News.[40] Tiger Global Management and Sequoia Capital joined, according to The Information;[41]

Within a day, OpenAI's board of directors began negotiations to reinstate Altman, though he had demands about governance. The board agreed in principle to resign and to allow Altman to return, but missed the deadline.[42] According to The Verge, Altman was ambivalent about returning and would seek significant changes to the company,[43] including replacing the board.[44]

A list of possible new directors had been prepared by investors in the event that the board stepped down, including former Salesforce executive Bret Taylor.[40] According to chief strategy officer Jason Kwon, OpenAI was optimistic it could return Altman, Brockman, and other employees.[45]

On November 19, Altman and Brockman appeared at OpenAI's headquarters to negotiate, mediated by Microsoft CEO Satya Nadella. According to Bloomberg News, Murati, Kwon, and chief operating officer Brad Lightcap were pushing for a new board of directors; it was required that the board absolve Altman of wrongdoing in order for Altman to be reinstated.

Taylor was expected be a member of the new board[46] and Microsoft had also attempted to gain a seat.[47] The Wall Street Journal reported that Airbnb chief executive Brian Chesky and businesswoman Laurene Powell Jobs were also considered.[48] Murati had intended to rehire Altman and Brockman, discussing the move with Adam D'Angelo.[49] The Verge reported that Altman intended to return to OpenAI with support from Sutskever.[50]

In an unexpected move on Sunday night, some 60 hours after the initial removal, the board chose to name former Twitch chief executive Emmett Shear—who has ties to effective altruist movement[51]—as OpenAI's chief executive[52] instead of reinstating Altman.[48] Former GitHub chief executive Nat Friedman and Scale AI chief executive Alex Wang reportedly rejected offers from the board for the position.[53] Anthropic chief executive Dario Amodei,[54] who had originally worked at OpenAI before splitting off, refused to negotiate a deal that could have led to a merge of the two companies.[55]

In response, Microsoft announced that Altman would be joining Microsoft to run a new artificial intelligence research team, that[56] joined by Brockman, Pachocki, Sidor, and Madry.[57]

Shear said the Altman’s removal was not due to disagreements about the safety,[58] and he would not have accepted the position without the board's support for commercialization.[59] As part of his 30-day plan, he stated his intentions to begin an investigation into the reasons behind Altman's removal.[60]

Dozens of employees announced their resignations in response to Shear's accession.[61] The next day, a letter signed by 745[62] of OpenAI's 770 employees threatened mass resignations if the board did not resign.

Among the signatories was board member Sutskever, who defected from the board and publicly apologized for his participation in the board's previous actions.[63]

On November 21, OpenAI announced it had reached an agreement in principle for Altman to be reinstated with Taylor, D'Angelo, and economist Lawrence Summers on an interim[64] board, [65] with Taylor as chair of the board.[66]

As part of the compromise deal, Altman and Brockman will not reclaim seats on the board. Altman agreed to an internal investigation into his alleged conduct.[67]

Aftermath

OpenAI

The removal reportedly left OpenAI in "chaos", according to The New York Times,[68] with the overwhelming majority of number of OpenAI employees threatening to resign if the board did not reconsider Altman's removal.[69]

According to The Information, Altman's removal and subsequent threatened mass resignation of employees risked a tender offer led by Thrive Capital valuing the company at US$86 billion.[70] [71] The Information later reported that Thrive Capital's tender offer will continue after Altman's reinstatement.[72]

Market effects

Shares in Microsoft fell nearly three percent following the announcement.[73] According to CoinDesk, the value of Worldcoin, an iris biometric cryptocurrency co-founded by Altman, decreased twelve percent.[2] After hiring Altman, Microsoft's stock price rose over two percent to an all-time high.[74]

Altman's announced removal was seen to have benefited OpenAI's competitors, such Anthropic, Quora, Hugging Face, Meta Platforms, and Google.[75]

The Economist wrote that the removal could slow down the artificial intelligence industry as a whole.[76] Google DeepMind received an increase in applicants, according to The Information; Cohere and Adept engaged in an active effort to hire OpenAI employees.[77] Several investors considered writing down their OpenAI investments to zero, impacting the company's ability to raise capital.[69] Over one hundred companies using OpenAI contacted Anthropic, according to The Information; others reached out to Google Cloud, Cohere, and Microsoft Azure.[78]

Potential venture

According to The Information, Altman was planning a new artificial intelligence venture with Brockman,[79] and OpenAI employees.[80] Sequoia Capital investor Alfred Lin and venture capitalist Vinod Khosla expressed interest in Altman's potential venture.[81][82]

Multiple OpenAI investors considered legal action.[83]

Reactions

Sam Altman

Altman quipped that the OpenAI board of directors should sue him should he "start going off".[84] Former co-chair Elon Musk stated the board should be transparent in its removal.[85] Allies of Altman accused board members of staging a coup[9] and several OpenAI employees responded to a tweet Altman wrote with a heart emoji, intended to demonstrate employees who are prepared to leave.[86] Former Google chief executive Eric Schmidt wrote that Altman was a "hero to [him]" after his removal.[29]

Technology industry

Microsoft executives were informed of Altman's removal a minute before the announcement was made, according to Axios,[87] and investors were not given advance knowledge. Satya Nadella and chief technology officer Kevin Scott expressed confidence in OpenAI following his removal,[88] though Nadella was reportedly furious, according to Bloomberg News.[23]

Y Combinator co-founder Paul Graham referred to the board's members as "misbehaving children".[26] Third Point chief executive and Microsoft shareholder Daniel S. Loeb stated that OpenAI had "stunningly poor governance".[89] French digital transition minister Jean-Noël Barrot stated that Altman is "welcome in France".[90]

Following the employee letter, Salesforce chief executive Marc Benioff offered to employ OpenAI employees with matching salaries,[91] an offer extended by Microsoft.[92]

Media analysis

Analyst Fred Havemeyer stated that Nadella "pulled off a coup of his own" in hiring Altman.[93]

Wired editor-at-large Steven Levy compared the removal of Altman to the removal of Steve Jobs from Apple in 1985,[94] a comparison made by The New York Times.[95] Axios posed that the board could resign, returning OpenAI to Altman.[62] Writing for The New York Times, Ezra Klein noted the role of OpenAI's controlling non-profit in self-regulation.[96]

Decoding Intentions -- Artificial Intelligence and Costly Signals

OpenAI の CEO サム・アルトマンを解任した 旧取締役会のメンバーの一人だった ヘレン・トナー が執筆した 論文 の要約と表を翻訳しました。

この論文は GIGAZINE の記事 「OpenAIのサム・アルトマンCEO解任騒動は会社に批判的な論文を書いた取締役会メンバーを追い出そうとしたことが原因か」 で「アルトマン氏と取締役会の間に不和が生まれた大きなきっかけ」となったと紹介されてます。

この騒動は WikipediaRemoval of Sam Altman from OpenAI でも詳しく説明されています。

NOTEに 解説記事 を投稿しました。こちらもよろしく。


意図を読み解く ー 人工知能と高価なシグナル(告知・兆候)

Authors
Andrew Imbrie
Owen J. Daniels
Helen Toner


要旨

政策立案者は、 人工知能分野における意図をどのようにして信頼できる形で明らかにし、 評価することができるのだろうか? AI技術は急速に進化しており、 民間や軍事への幅広い応用を可能にしている。 AIの技術革新の大部分をリードしているのは民間企業だが、 その動機やインセンティブは、本社を置く国家のそれとは異なる場合がある。 政府と企業がより高性能なシステムの導入を競い合う中で、 誤算や不注意によるエスカレーションのリスクは高まるだろう。 地政学的な競争が激化する中、安全で責任あるシステム開発を行うためには、 誤解を防ぎ、明確な意思疎通を図るための政策手段をすべて理解することが不可欠である。

この要約では、 これまで一般的な議論ではあまり注目されてこなかった重要な政策手段、 すなわちコストと兆候について考察する。 コストのかかる兆候とは、 発信者が最初の約束や脅しを撤回したり履行できなかったりした場合に、 政治的、評判的、金銭的な代償を支払うことになる発言や行動のことである。 学術文献のレビューに基づき、 我々は4つの高価な兆候メカニズムを強調し、 AIの分野に適用する(表1に要約):

  • 制約方法とは、外国あるいは国内の聴衆に向けた公的なコミットメントの戦略的な展開を意味する。例えば、AI政策に関する一方的な声明、多国間機関での投票、AIモデルのテストや評価への公的なコミットメントなどがこれにあたる。
  • 回収不能コストとは、AIアルゴリズムのライセンスや登録要件、テストベッドやその他の施設を含むテスト・評価インフラへの大規模投資など、コストが最初から織り込まれているコミットメントに依存する
  • 分割可能コストとは、AIシステムの持続的検証技術や、データセンターにおけるAIチップの使用に関する会計ツールなど、送り手が現在ではなく将来に代償を支払うことになるコミットメントである
  • 削減可能なコストとは、より解釈しやすいAIモデルへの投資、AI投資基準の策定への参加、AI対応システムの代替設計原則など、前もって支払うが、兆候発信者の行動次第で時間とともに相殺されるコストである[1]。

本稿では、3つのケーススタディを通じて、AIの高価なシグナル(告知)メカニズムを探る。 1つ目のケーススタディでは、軍事におけるAIと自律性をめぐる兆候について検討する。 2つ目のケーススタディでは、人権、市民の自由、データ保護、 プライバシーへのコミットメントをAI技術の設計、開発、導入に組み込む民主主義的なAIについて検討する。 3つ目のケーススタディでは、 大規模言語モデル(LLM)の開発とリリースをめぐる民間企業の積極的な告知について分析する。

しかし、その長所と限界を理解することが重要である。 キューバ危機の後、米国はモスクワと直接ホットラインを結び、 そこからメッセージを送ることができた[2]。 兆候は、うっかりすると高くつくこともある。 民主主義的なAIは、 特定の価値観へのコミットメントについて強力なメッセージを送るが、 こうした原則を共有しない可能性のあるパートナーとの間で違反が生じるリスクがあり、 米国が偽善の容疑にさらされる可能性がある。 すべての兆候が意図的であるわけではないし、 商業主体は他の分野や国の政府や業界関係者とは異なるコストを概念化するかもしれない。 このような複雑さは克服できないものではないが、 民間企業がイノベーションを推進し、 その拠点となる国と利害が対立する可能性がある経済状況において、 兆候に課題をもたらす。

誤認や不用意なエスカレーションのリスクを考えれば、 官民のリーダーは、 兆候を首尾一貫した戦略に組み込むよう注意しなければならない。 コストのかかる兆候には、 兆候の伝達を目的とした透明性と、 プライバシーやセキュリティをめぐる規範との緊張関係など、 管理すべきトレードオフが伴う。 政策立案者や技術指導者が、 能力を「隠すか、明らかにするか」だけでなく、 どのように明らかにするか、 また、 どのようなチャネルを通じて意図するメッセージを伝えるかを検討することで、 兆候の伝達の機会は信頼性をもって拡大する[3]。 多価的な兆候、 すなわち複数の兆候を発信することは、 相補的または矛盾する効果をもたらす可能性がある。 公共部門と民間部門のリーダーによる互換性のあるメッセージは、 AIにおけるコミットメントの信頼性を高めることができるが、 政府関係者が異なる技術分野にわたる能力を評価するための適切なコンテキストを欠いている場合、 兆候を誤解する可能性もある。 政策立案者は、想定を明確にし、 エスカレーションのリスクを軽減し、 危機時のコミュニケーションに関する共通の理解を深めるために、 コストのかかる兆候を卓上演習や同盟国や競合国との 集中的な対話に取り入れることを検討すべきである。 兆候にはノイズが多く、 時に聴衆を混乱させることもあるが、 それでも必要なものである。



表1:高価なAIのシグナルの例


軍事におけるAIと自律性

制約方法

一方的な政策声明を発表して意思を伝える。 例えば、核の指揮統制の意思決定には人間を維持することを約束する。

回収不能コスト

訓練中および配備前のレッドチーム編成手順に投資し、 AI対応兵器システムの帰属を容易にするエンブレムの使用を検討する。

分割可能コスト

AI対応システムの持続的な検証技術にコミットし、 集中的なコンピュート・アカウンティングの取り決めを策定する。

削減可能コスト

要件を設定し、解釈可能なAIモデルと代替設計原則に投資するインセンティブを創出する。


民主主義的なAI

制約方法

民間企業のAIを活用した敵対的な攻撃に対して、 あらかじめ定義された行動を約束することで、 民間企業のAIの原則を守る。

回収不能コスト

AI技術が悪用されるシステム・リスクがある市場で事業を行う民間企業に対して、 潜在的リスクの評価指針(デューデリジェンス・ガイダンス)を公表する。

分割可能コスト

AI監査人のための共通の認証基準、ツール、慣行を開発する。

削減可能コスト

AIの安全性研究や、民主的価値を促進する プライバシー強化技術の開発に対する賞金コンテストを主催する。


民間企業の積極的な告知

制約方法

学習データ、モデルの性能、危険な能力に関する透明性など、 高度なAIモデルに関する重要な情報を公開する。

回収不能コスト

信頼できるホスティングサービスや、 テストベッドなどのテスト・評価インフラに投資する。

分割可能コスト

リアルタイムのインシデント監視と、 AI対応システムが関与するインシデントのデータ収集と分析に関する共通基準にコミットする。

削減可能コスト

AIの影響評価とAIシステムの内部監査結果を公表する。




Decoding Intentions -- Artificial Intelligence and Costly Signals

Authors
Andrew Imbrie
Owen J. Daniels
Helen Toner


Executive Summary

How can policymakers credibly reveal and assess intentions in the field of artificial intelligence? AI technologies are evolving rapidly and enable a wide range of civilian and military applications. Private sector companies lead much of the innovation in AI, but their motivations and incentives may diverge from those of the state in which they are headquartered. As governments and companies compete to deploy evermore capable systems, the risks of miscalculation and inadvertent escalation will grow. Understanding the full complement of policy tools to prevent misperceptions and communicate clearly is essential for the safe and responsible development of these systems at a time of intensifying geopolitical competition.

In this brief, we explore a crucial policy lever that has not received much attention in the public debate: costly signals. Costly signals are statements or actions for which the sender will pay a price —political, reputational, or monetary—if they back down or fail to make good on their initial promise or threat. Drawing on a review of the scholarly literature, we highlight four costly signaling mechanisms and apply them to the field of AI (summarized in Table 1):

  • Tying hands involves the strategic deployment of public commitments before a foreign or domestic audience, such as unilateral AI policy statements, votes in multilateral bodies, or public commitments to test and evaluate AI models;
  • Sunk costs rely on commitments whose costs are priced in from the start, such as licensing and registration requirements for AI algorithms or large-scale investments in test and evaluation infrastructure, including testbeds and other facilities;
  • Installment costs are commitments where the sender will pay a price in the future instead of the present, such as sustained verification techniques for AI systems and accounting tools for the use of AI chips in data centers;
  • Reducible costs are paid up front but can be offset over time depending on the actions of the signaler, such as investments in more interpretable AI models, commitments to participate in the development of AI investment standards, and alternate design principles for AI-enabled systems.[1]

We explore costly signaling mechanisms for AI in three case studies. The first case study considers signaling around military AI and autonomy. The second case study examines governmental signaling around democratic AI, which embeds commitments to human rights, civil liberties, data protection, and privacy in the design, development, and deployment of AI technologies. The third case study analyzes private sector signaling around the development and release of large language models (LLMs).

Costly signals are valuable for promoting international stability, but it is important to understand their strengths and limitations. Following the Cuban Missile Crisis, the United States benefited from establishing a direct hotline with Moscow through which it could send messages.[2] In today’s competitive and multifaceted information environment, there are even more actors with influence on the signaling landscape and opportunities for misperception abound. Signals can be inadvertently costly. U.S. government signaling on democratic AI sends a powerful message about its commitment to certain values, but it runs the risk of a breach with partners who may not share these principles and could expose the United States to charges of hypocrisy. Not all signals are intentional, and commercial actors may conceptualize the costs differently from governments or industry players in other sectors and countries. While these complexities are not insurmountable, they pose challenges for signaling in an economic context where private sector firms drive innovation and may have interests at odds with the countries in which they are based.

Given the risks of misperception and inadvertent escalation, leaders in the public and private sectors must take care to embed signals in coherent strategies. Costly signals come with tradeoffs that need to be managed, including tensions between transparency for signaling purposes and norms around privacy and security. The opportunities for signaling credibly expand when policymakers and technology leaders consider not only whether to “conceal or reveal” a capability, but also how they reveal and the specific channels through which they convey messages of intent.[3] Multivalent signaling, or the practice of sending more than one signal, can have complementary or contradictory effects. Compatible messaging from public and private sector leaders can enhance the credibility of commitments in AI, but officials may also misinterpret signals if they lack appropriate context for assessing capabilities across different technology areas. Policymakers should consider incorporating costly signals into tabletop exercises and focused dialogues with allies and competitor nations to clarify assumptions, mitigate the risks of escalation, and develop shared understandings around communication in times of crisis. Signals can be noisy, occasionally confusing some audiences, but they are still necessary.

Table 1: Examples of Costly AI Signals

Military AI and Autonomy

Tying hands

Issue unilateral policy statements to convey intent, such as committing to maintain a human in the loop for nuclear command and control decisions.

Sunk costs

Invest in red teaming procedures during training and before deployment and explore the use of emblems to facilitate attribution of AI-enabled weapons systems.

Installment costs

Commit to sustained verification techniques for AI-enabled systems and develop arrangements for intensive compute accounting.

Reducible costs

Set requirements and create incentives for investing in interpretable AI models and alternate design principles.

Democratic AI

Tying hands

Defend democratic AI principles by committing to predefined actions in response to AI-enabled adversarial attacks on democratic societies.

Sunk costs

Release due diligence guidance for private companies operating in markets where there is a systemic risk of misuse of AI technologies.

Installment costs

Develop common certification standards, tools, and practices for AI auditors.

Reducible costs

Sponsor prize competitions for AI safety research and the development of privacy-enhancing technologies that promote democratic values.

Private Sector Signaling

Tying hands

Release key information about advanced AI models, including transparency around the training data, model performance, and dangerous capabilities.

Sunk costs

Invest in trusted hosting services and test and evaluation infrastructure, including test beds and other facilities.

Installment costs

Commit to real-time incident monitoring and common standards around data collection and analysis of incidents involving AI-enabled systems.

Reducible costs

Publish AI impact assessments and the results of internal audits of AI systems

The Dartmouth Workshop ー as planned and as it happened

下記はジョン・マッカーシーのホームページで公開されている記事です。 AI -- PAST AND FUTURE とのタイトルが見えるので、「人工知能」誕生50周年を記念して 2006年7月に開催されたカンファレンス AI@50 でのマッカーシーの講演に関連していると思われますが、 記録されている日付が10月なので 開催後に書かれた記事です。


ダートマスワークショップ -- 計画と実際

1956年のダートマスワークショップの人工知能に関する4人の主催者は、ジョン・マッカーシーマービン・ミンスキーナサニエルロチェスタークロード・シャノンでした。ワークショップにはいくつかの前史があります。

私自身の人工知能への興味は、私が数学の大学院での学習を始めていたカリフォルニア工科大学で開催された1948年9月のヒクソン行動の脳機構シンポジウムに参加したことで刺激されました。このシンポジウムではコンピュータと脳が比較されましたが、その比較はかなり理論的なものでした。なぜなら最初の記憶プログラムコンピュータは1949年に完成したばかりだったからです。知的なコンピュータプログラムのアイデアはシンポジウムの議事録にはありませんが、議論された可能性があります。私は知的な有限オートマトンについていくつかの考えを展開しましたが、それらは不十分だと感じ、発表しませんでした。その結果、私は1951年にプリンストン大学微分方程式の博士論文を書きました。

マービン・ミンスキーは独自に人工知能となったものに興味を持ち、1950年にハーバード大学の学部最終学年でディーン・エドムンズと共に単純なニューラルネット学習機を構築しました。プリンストン大学では、ミンスキーは人工知能への関心を追求し、彼の1954年の博士論文はニューロンが普遍的な計算要素であるための基準を確立しました。

クロード・シャノンは1950年にチェスプログラムを提案し、知能のいくつかの特徴を示す多くの小さなリレーマシンを構築しました。そのうちの1つは、目標を見つけるために迷路を探索するマウスでした。

1952年の夏、シャノンはベル電話研究所で私とミンスキーをサポートしました。私の取り組みの結果、チューリングマシンによって定義される関数の反転に関する論文が生まれました。しかし、私はこの人工知能へのアプローチにも満足していませんでした。

1952年にシャノンと私は、多数の研究者に寄稿してもらうために『Automata Studies』と題した一連の論文を依頼しました。この論文集は最終的に1956年に出版されました。

私は1954年にダートマス大学に赴任し、IBMナサニエルロチェスターから1955年の夏をニューヨーク州ポキプシーの情報研究部門で過ごすよう招待されました。ロチェスターIBM 701コンピュータの設計者でした。

IBMでの滞在中、ロチェスターと私はミンスキーとシャノンを誘い、ダートマスワークショップの提案を行いました。1955年8月にロックフェラー財団から資金を要請する提案が書かれ、それが「人工知能」という用語の源泉となりました。この用語は、機械が知的に振る舞うことに関するAutomata Studiesの論文があまりにも少ないことに(少なくとも)失望していたため、私たちは参加者の注意を集中させたかったのです。

提案の最初のアイデアは、参加者がダートマスで2か月間集団で人工知能に取り組み、大きな進歩を遂げることを期待していました。

しかし、それは3つの理由からうまくいきませんでした。まず第一に、ロックフェラー財団は私たちが要求した資金の半分しか提供してくれませんでした。第二に、これが主な理由ですが、参加者はそれぞれ独自の研究課題を持っており、それらからそれほど逸れることはありませんでした。そのため、参加者は様々な時期にダートマスにやってきて、さまざまな期間滞在しました。

ダートマスで重要な役割を果たした可能性がある2人の人物は、最初にコンピュータプログラミングが人工知能を実現する主要な方法であると理解したアラン・チューリングと、ジョン・フォン・ノイマンです。チューリングは1954年に亡くなり、1956年の夏までにはフォン・ノイマンはすでにがんで病気になっており、1957年初頭に亡くなりました。

ダートマスでその夏には何が起こったのでしょうか?

わずか数日しか滞在しなかったニューウェルとサイモンはショーの主役でした。彼らは論理理論マシンを紹介し、その出力を学生の被験者のプロトコルと比較しました。学生は命題論理を理解する必要はなく、与えられたルールに従って記号列を操作するだけでした。彼らはまた、リスト構造による式の表現とそれらのIPL言語について説明しました。

リスト構造は素晴らしいアイデアだと考えましたが、IPL言語は好きではありませんでした。すぐに機械語でコーディングされたリスト処理のプリミティブな操作を組み込んだFortranの使用を考えました。当時はFortranのマニュアルが存在しましたが、実用的なFortranはまだ完全に準備ができていませんでした。

IBMのアレックス・バーンスタインは、彼の構築中のチェスプログラムを発表しました。私の反応は、彼にアルファベータ剪定を発明して勧めました。しかし、彼は納得しませんでした。

私の一般的な常識の知識や数理論理による推論を表現するアイデアはまだ十分に整理されていなかったため、それらを発表することはできませんでした。もし会議に論理学者がいたら、彼らの興味と助けを期待していたかもしれません。その主題に関する論文を発表できるようになるまでには、さらに2年かかりました。

ミンスキーは、図形で真であるとされる文を証明しようとすることによって、組み合わせ爆発を大幅に回避する平面幾何学の定理証明機のアイデアを発表しました。ナット・ロチェスターはこのアイデアIBMに持ち帰り、新しくIBMに雇われたハーバート・ゲレンターに私のコンサルタントとして取り組むよう指示しました。ゲレンターはプローバーの実装にFortranリスト処理言語を開発しました。1958年、FLPLが再帰やその他の不適切な要素を許可しないという事実に応じて、私はLispを提案しました。

私は自分の科学的な興味と交差するダートマスでの出来事についてはよく覚えていますが、これは何が行われたかの包括的な説明ではありません。ここで無視している良い成果には、レイモンド・ソロモノフのアルゴリズム情報に関する研究やE・F・ムーアのオートマトンに関する彼の考えのさらなる発展が含まれます。

ダートマスから何が生まれたのでしょうか?

私が思うには、主に人工知能の概念が科学の一分野として生まれたことです。 このことだけでも多くの人々が自分自身の方法で人工知能の目標を追求するようになりました。

私の人間レベルの人工知能への突破への期待はダートマスでは実現されませんでした。 そして過去50年間で人工知能は非常に進歩しましたが、 私は突破口のために新しいアイデアが依然として必要だと考えています。

1956年以降は何が起こったのでしょうか?

人工知能の研究は、 おそらく1956年以前から、 神経系の模倣に基づくアプローチと、 生存を含む目標達成を試みる人間、動物、および機械が世界から直面する問題を考える工学的アプローチに分かれています。 どちらも人間レベルの人工知能を達成していません。 片方のアプローチを放棄し、 すべてのリソースをもう一方に投入すべきだとする提案は愚かであり、 実現する可能性も低いです。 私自身は工学的アプローチに限定して取り組みます。

工学的アプローチの中で、最も大きな成功は特定のタスクに対するコンピュータプログラムの作成で達成されています。例えば、チェスのプレイやオフロード車の運転などです。これらのいずれも一般的な常識的な知識を持っていると主張していません。したがって、チェスプログラムは自分自身がチェスプログラムであることを知りません。彼らの本体論は主に特定の位置で構成されています。

「常識を持つプログラム」と題された[#!McC59!#]を始めとする論理的AIアプローチは、原則としてより野心的です。これには世界に関する事実を数理論理の言語で表現し、論理的推論によって問題を解決することが必要です。これには克服されたものも含めて多くの困難があり、それらを克服するための提案もあります。それにもかかわらず、人間レベルのAIに到達するための信憑性のある計画はまだ十分に受け入れられていません。

私は数年間、一般的な常識の知識と推論を表現するために数理論理を拡張する必要があると考えてきました。これらの拡張は、ゲーデルの1929年の一階述語論理の完全性定理という観点からは矛盾するように思われるかもしれません。(これをゲーデルの1931年の形式化された算術の不完全性定理と混同しないでください。)1929年の定理は、ある前提のすべてのモデルで真である文は、これらの前提からの証明があると私たちに伝えています。したがって、論理の真の拡張は、前提のいくつかのモデルで真でない文を推論することを可能にする必要があります。

さまざまな形式化された非単調推論のシステムはまさにそれを行います。これらは、前提の優先モデルで真である文を推論することを可能にします。人間の常識的な推論はしばしば非単調であり、人間レベルの論理的AIには非単調な推論が必要ですが、これをどのように十分に一般的な方法で行うかはまだ発見されていません。

非単調推論の必要性は人工知能ではよく認識されていますが、特定の領域では、人間の設計者がしばしばどの解釈が優先されるかを決定し、単調な推論のみをコンピュータに委ねることがあります。これは汎用性を犠牲にしたものです。

非単調推論に加えて、私は常識的な推論を行うために論理を拡張するための他の提案を行っています。これにはオブジェクトとしての概念を持つシステム、オブジェクトとしての文脈を持つシステム、および当てはまる定義で特徴付けることができないエンティティを認めることが含まれます。私は論理が常識を十分にカバーする前にさらに多くのことが必要だと確信しています。私の提案はここやそこで発表された記事にありますが、すべて私のウェブページ http://www-formal.stanford.edu/jmc/ から入手できます。

論理を拡張するための提案に加えて、計算をより効率的に行うために論理を制限する多くのシステムがあります。私は完全な論理を使用したいと考えていますが、効率的な推論を決定するために自身の推論手法について推論できるシステムを望んでいます。これらの年月が経っても、具体的な提案をすることができていません。

John McCarthy
2006-10-30

The Dartmouth Workshop -- as planned and as it happened

The four organizers of the 1956 Dartmouth Workshop on artificial intelligence were John McCarthy, Marvin Minsky, Nathaniel Rochester, and Claude Shannon. The workshop has some prehistory.

My own interest in AI was triggered by attending the September 1948 Hixon Symposium on Cerebral Mechanisms in Behavior held at Caltech where I was starting graduate work in mathematics. At this symposium, the computer and the brain were compared, the comparison being rather theoretical, since the first stored programmed computers were completed only in 1949. The idea of intelligent computer programs isn't in the proceedings of the symposium, although it might have been discussed. I developed some ideas about intelligent finite automata but found them unsatisfactory and didn't publish. Consequently, I wrote my Princeton PhD thesis in differential equations in 1951.

Marvin Minsky was independently interested in what became AI and in 1950, while a senior at Harvard built, along with Dean Edmunds, built a simple neural net learning machine. At Princeton, Minsky pursued his interest in AI, and his 1954 PhD thesis established the criterion for a neuron to be a universal computing element.

Claude Shannon proposed a chess program in 1950, built many small relay machines exhibiting some features of intelligence, one being a mouse searching a maze to find a goal.

In the summer of 1952 Shannon supported Minsky and me at Bell Telephone Laboratories. The result of my efforts was a paper on the inversion of functions defined by Turing machines. I was unsatisfied with this approach to AI also.

Also in 1952 Shannon and I invited a number of researchers to contribute to a volume entitled Automata Studies that finally came out in 1956.

I came to Dartmouth College in 1954 and was invited by Nathaniel Rochester of IBM to spend the summer of 1955 in his Information Research Department in Poughkeepsie, NY. Rochester had been the designer of the IBM 701 computer.

While at IBM, Rochester and I got Minsky and Shannon to join us in proposing the Dartmouth workshop. The proposal, requesting funds from the Rockefeller Foundation was written in August 1955, and is the source of the term artificial intelligence. The term was chosen to nail the flag to the mast, because I (at least) was disappointed at how few of the papers in Automata Studies dealt with making machines behave intelligently. We wanted to focus the attention of the participants.

The original idea of the proposal was that the participants would spend two months at Dartmouth working collectively on AI, and we hoped would make substantial advances.

It didn't work that way for three reasons. First the Rockefeller Foundation only gave us half the meney we asked for. Second, and this is the main reason, the participants all had their own research agendas and weren't much deflected from them. Therefore, the participants came to Dartmouth at varied times and for varying lengths of time.

Two people who might have played important roles at Dartmouth were Alan Turing, who first uderstood that programming computers was the main way to realize AI, and John von Neumann. Turing had died in 1954, and by the summer of 1956 von Neumann was already ill from the cancer that killed him early in 1957.

What did happen that summer at Dartmouth?

Newell and Simon, who only came for a few days, were the stars of the show. They presented the logic theory machine and compared its output with protocols from student subjects. The students were not supposed to understand propositional logic but just to manipulate symbol strings according to the rules they were given. They also described representing formulas by list structures and their IPL language.

I thought list structures were a great idea but didn't like the IPL language and immediately thought of using Fortran augmented by list processing primmitive operations coded in machine language. Fortran manuals existed at the time, but an operational Fortran wasn't quite ready.

Alex Bernstein of IBM presented his chess program under construction. My reaction was to invent and recommend to him alpha-beta pruning. He was unconvinced.

My ideas about representing common sense knowledge and reasoning in mathematical logic were still too ill formed for me to present them. Maybe if there had been some logicians at the meeting I'd have hoped for their interest and help. It was another two years before I was ready to present a paper on the subject.

Minsky presented his idea for a plane geometry theorem prover which would avoid much combinatorial explosion by only attempting to proved statements that were true in a diagram. Nat Rochester took this idea back to IBM with him and set Herbert Gelernter, a new IBM hire, to work on it with me as a consultant. Gelernter developed the Fortran List Processing Language for implementing the prover. In 1958, responding to the fact that FLPL didn't allow recursion and other infelicities, I proposed Lisp.

I remember well only the events at Dartmouth that intersected with my own scientific interests, so this is not a comprehensive account of what went on. Good work that I am ignoring here includes Raymond Solomonoff's work on algorithmic information and E. F. Moore's further development of his idas on automata.

What came out of Dartmouth?

I think the main thing was the concept of artificial intelligence as a branch of science. Just this inspired many people to pursue AI goals in their own ways.

My hope for a breakthrough towards human-level AI was not realized at Dartmouth, and while AI has advanced enormously in the last 50 years, I think new ideas are still required for the breakthrough.

What has happened since 1956?

AI research split, perhaps even before 1956, into approaches based on imitating the nervous system and the engineering approach of looking at what problems the world presents to humans, animals, and machines attempting to achieve goals including survival. Neither has achieved human-level AI. Proposals that one approach should be abandoned and all resources put into the other are silly, as well as being unlikely to happen. I'll confine myself to engineering approaches.

Within the engineering approach, the greatest success has been accomplished in making computer programs for particular tasks, e.g. playing chess and driving an off-the-road vehicle. None of these purport to have achieved general common sense knowledge. Thus the chess programs do not know that they are chess programs. Their ontology consists mainly of particular positions.

The logical AI approach, starting with [#!McC59!#], which was entitled Programs with common sense, is in principle more ambitious. It requires representing facts about the world in languages of mathematical logic and solving problems by logical reasoning. It faces many difficulties, some of which have been overcome, and there are proposals for overcoming others. Nevertheless, there is still not a well accepted plausible plan for reaching human-level AI.

For some years, I have thought mathematical logic needs to be extended in order represent common sense knowledge and reasoning. That extensions are possible may seem paradoxical in the light of Gödel's 1929 completeness theorem for first order logic. (Don't confuse this with his 1931 incompleteness theorem for formalized arithmetic.) The 1929 theorem tells us that any sentence true in all models of some premises has a proof from these premises. Therefore, any genuine extension of logic must allow inferring some sentences that are untrue in some models of the premises.

The various systems of formalized nonmonotonic reasoning do precisely that. They allow inferring sentences true in preferred models of the premises. Human commonsense reasoning is often nonmonotonic, and human-level logical AI requires nonmonotonic reasoning, but how to do this in a sufficiently general way is still undiscovered.

The need for nonmonotonic reasoning is well accepted in AI, although for specific domains, the human designer often decides what interpretations are preferred and relegates only monotonic reasoning to the computer. This is at the cost of generality.

Besides nonmonotonic reasoning, I propose other extensions to logic to be able to do common sense reasoning. These include systems with concepts as objects, systems with contexts as objects, and admitting entities that cannot be characterized by if-and-only-if definitions. I'm sure there's lots more needed before logic fully covers common sense. My proposals are in articles published here and there but all available from my web page http://www-formal.stanford.edu/jmc/.

Besides proposals for extending logic, there are many systems that restrict logic in order to make computation more efficient. I'd prefer to use full logic but want systems that can reason about their own reasoning methods in order to decide on efficient reasoning. After all these years, I still have not been able to make specific proposals.

John McCarthy
2006-10-30

Who's Who: The Wizards and their Machines

以下は書籍『 Hackers: Heroes of the Computer Revolution 』に収録されている "Who's Who: The Wizards and their Machines" のみを転載したものです。

同書は1984年に出版されましたが、 その時点での紳士録ですので今では完全に忘れ去られている人物がほとんどです。 が、Wikipedia 英語版で調べてみるとページが存在する人物が結構いまして、 ベストセラーとなった同書の影響力を改めて実感しているところです。

ちなみに同書はオライリーから25周年記念版が出版されています。

www.oreilly.com

ティーブ・レヴィーの新たな書き下ろしも収録されているようなので、お試しあれ。


Bob Albrecht

ボブ・アルブレヒト

"People's Computer Company"の創設者で、若者たちにコンピュータを紹介することに喜びを感じた人物。


Altair 8800

アルテア 8800

ハードウェアハッカーを魅了した、先駆的なマイクロコンピュータ。このキットを組み立てることで、ハッキングを学びました。それからそれをどう活用するかを考えました。


Apple II

アップル II

スティーブ・ウォズニアックによる友好的で風変わりで魅力的なコンピュータで、非常に成功し、繁栄する産業の原動力となりました。


Atari 800

アタリ 800

このホームコンピュータは、John Harrisなどのゲームハッカーに優れたグラフィックスを提供しましたが、それを製造した企業はその動作原理を教えることを嫌がりました。


Bob and Carolyn Box

ボブとキャロリン・ボックス

世界記録を持つ金鉱探鉱者で、 Sierra On-Line でソフトウェアのスターとして働いていました。


Doug Carlston

ダグ・カールストン

法律家でありながら、ソフトウェア会社 Broderbund を設立するためにすべてを捨てた人物。


Bob Davis

ボブ・デイビス

酒屋の仕事を辞めて、Sierra On-Lineのコンピュータゲーム "Ulysses and the Golden Fleece" のベストセラー作家となった人物。成功が彼の失脚をもたらしました。


Peter Deutsch

ピーター・ドイチュ

スポーツは苦手で、数学が得意なピーターは、MITのTX-0を偶然見つけ、それをマスターしたときにはまだ短パンを履いていました。


Steve Dompier

ティーブ・ドンピエ

Homebrewのメンバーで、最初にAltairを動かすことに成功し、後にSolで「Target」というゲームを書き、Tom Snyderを魅了しました。


John Draper

ジョン・ドレイパー

恐れを知らずに電話システムを探求した「キャプテン・クランチ」で、投獄された後にマイクロコンピュータをハッキングしました。彼はたばこを吸うと暴力的になりました。


Mark Duchaineau

マーク・デュシャノー

自分の気まぐれでOn-Lineのディスクにコピープロテクトをかけた若きダンジョンマスター


Chris Espinosa

クリス・エスピノーサ

Steve Wozniakの14歳のフォロワーで、初期のAppleの従業員でした。


Lee Felsenstein

リー・フェルゼンシュタイン

バークレーバーブの元「軍事編集者」で、架空のSF小説のヒーローで、コンピュータを「ジャンクヤード」のアプローチで設計し、70年代のベイエリアのハードウェアハッキングの中心的な人物でした。


Ed Fredkin

エド・フレドキン

Information Internationalの穏やかな創設者で、自分を世界最高のプログラマーだと思っていましたが、Stew Nelsonに出会うまでのハッカーたちの父親的存在でした。


Gordon French

ゴードン・フレンチ

銀髪のハードウェアハッカーで、彼のガレージには車ではなく、自作のChicken Hawkコンピュータがあり、最初のHomebrew Computer Clubのミーティングを開催しました。


Richard Garriott

リチャード・ギャリオット

宇宙飛行士の息子で、Lord British としてコンピュータディスク上の Ultima 世界を作り上げた人物。


Bill Gates

ビル・ゲイツ

傲慢なウィザードで、ハーバード大学を中退し、Altair BASIC を書いた人物で、ハッカーたちがそれをコピーすると不平を言いました。


Bill Gosper

ビル・ゴスパー

コンピュータキーボードのホロウィッツで、MIT AIラボで数学とLIFEのハッカーであり、ハッカー倫理の専門家で、中国料理のメニューの学生でした。


Richard Greenblatt

リチャード・グリーンブラット

一途でだらしない、多作で権威あるMITハッカーで、夜に頻繁に活動しすぎて学業をおろそかにしました。ハッカーの中のハッカー


John Harris

ジョン・ハリス

若きAtari 800ゲームハッカーで、Sierra On-Lineのスタープログラマーとなりましたが、女性との交流を切望していました。


IBM PC

IBM PC

IBMのパーソナルコンピュータ市場への参入で、驚くべきことにハッカー倫理の一部を含んでおり、市場を席巻しました。


704 IBM

IBM 704

704 IBMは「敵」であり、これがMITのビルディング26にある巨大なコンピュータ、Hulking Giant の機械でした。後にIBM 709に改良され、その後IBM 7090になりました。バッチ処理で我慢できないものでした。


Steven Jobs

スティーブ・ジョブス

ビジョナリーで、ビーズを着け、ハッキングしない若者で、ウォズニアックのApple IIを手に入れ、多くの取引をし、10億ドルを稼ぐ会社を設立しました。


Tom Knight

トム・ナイト

16歳のMITハッカーで、インコンパチブル・タイムシェアリング・システムの名前を付けることになりました。後に、LISPマシンの開発競争において Greenblatt と敵対しました。


Alan Kotok

アラン・コトック

ジャージー州出身の太ったMITの学生で、TMRCの鉄道レイアウトの下で働き、Western Electricの電話システムを学び、伝説的なTX-0とPDP-1のハッカーとなりました。


Efrem Lipkin

エフレム・リプキン

ニューヨーク出身のハッカー活動家で、機械は好きだがその使い方は嫌いでした。 Community Memory の共同開発者で、Felsensteinの友人でした。


LISP Machine

LISPマシン

究極のハッカーコンピューターで、主に Greenblatt によって発明され、MITでの激しい論争の対象でした。


"Uncle" John McCarthy

ジョン・マッカーシー "おじさん"

おっとりしたが才能あるMIT(後にスタンフォード)の教授で、コンピュータチェス、人工知能LISPの先駆者として活動しました。


Bob Marsh

ボブ・マーシュ

バークレー在住のホームビュリューアで、Felsensteinとガレージを共有し、 Solコンピュータを作成した Processor Technology を設立しました。


Roger Melen

ロジャー・メレン

Altair向けの基板を製造するためにCromemco社を共同設立したホームブリューワー。彼の「Dazzler」は彼の台所のテーブルでLIFEプログラムを実行しました。


Louis Merton

ルイス・マートン

AIチェスのハッカーで、猫病に陥りがちで、ハッカーコミュニティを結びつけた人物でした。


Jude Milhon

ジュード・ミルホン

バークレーバーブの分類広告を通じてリー・フェルゼンシュタインに出会い、 Community Memory の一員になった友人でした。


Marvin Minsky

マービン・ミンスキー

遊び心のあるMITの教授で、AIラボを率い、ハッカーたちに自由に活動する機会を提供しました。


Fred Moore

フレッド・ムーア

金を嫌い、技術を愛し、 Homebrew Club を共同設立した放浪者の平和主義者。


Stewart Nelson

スチュワート・ネルソン

歯が出っ歯で小柄なAIラボのハッカーで、PDP-1コンピュータをハッキングして電話システムに接続しました。後にSystems Concepts社を共同設立しました。


Ted Nelson

テッド・ネルソン

自称「革新者」で、影響力のある「Computer Lib」を自費出版した意欲的な人物。


Russell Noftsker

ラッセル・ノフツカー

MIT AIラボの忙しい管理者で、後に Symbolics 社の社長になりました。


Adam Osborne

アダム・オズボーン

バンコク生まれの出版業者兼コンピュータメーカーで、自身を哲学者だと考えていました。Osborne Computer Companyを設立して「適切な」マシンを製造しました。


PDP-1

PDP-1

デジタル・エクイップメントの最初のミニコンピュータで、1961年にMITのハッカーたちにとって革命的な存在で、IBMの独裁主義に対する反発でした。


PDP-6

PDP-6

コトクの一部に設計された、AIラボの要となるメインフレームコンピュータで、美しい命令セットと16のレジスタを備えていました。


Tom Pittman

トム・ピットマン

宗教的なHomebrewハッカーで、妻を失いましたが、Tiny BASICを使って信仰を持ち続けました。


Ed Roberts

エド・ロバーツ

謎めいたMITS社の創設者で、彼のAltairコンピュータで世界を驚かせました。彼は人々に精神的なピラミッドを築くのを助けたいと思っていました。


Steve (Slug) Russell

スティーブ(スラグ)・ラッセル

マッカーシーの「助手」で、PDP-1で最初のビデオゲームであるSpacewarプログラムをハッキングしましたが、それからは一銭も稼ぐことはありませんでした。


Peter Samson

ピーター・サムソン

MITのハッカーの一人で、システム、列車、TX-0、音楽、議会手続き、いたずら、ハッキングを愛しました。


Bob Saunders

ボブ・サンダース

TMRCハッカーで、ベイリングガンキースを食べながら夜遅くまでハッキングし、Spacewarで「CBS戦略」をマスターしました。


Warren Schwader

ウォーレン・シュワーダー

ルーラルウィスコンシン出身の大柄なハッカーで、組み立てラインからソフトウェアのスターになりましたが、その転機とホバの証拠とは調和できませんでした。


David Silver)

デビッド・シルバー

14歳で学校を辞め、AIラボのマスコットになった彼は、不正なキーを作成し、不可能なことをする小さなロボットを作成しました。


Dan Sokol

ダン・ソコル

長髪のいたずら好きで、 Homebrew Club で技術の秘密を明らかにすることを楽しんでいました。彼は紙テープ上の Altair BASIC プログラムを「解放」するのに役立ちました。


Sol Computer

ソル・コンピュータ

Lee Felsensteinが2か月間で急いで作った端末とコンピュータで、事態を変えるほどのコンピュータでした。ほぼ十分ではありませんでした。


Les Solomon

レス・ソロモン

Popular Electronics の編集者で、コンピュータ革命を始めた人物。


Marty Spergel

マーティ・スパーゲル

ゴミ屋敷のメンバーで、回路とケーブルを供給し、何でも取引できる人物でした。


Richard Stallman

リチャード・ストールマン

ハッカーの最後の一人で、ハッカー主義の原則を最後まで守ることを誓った人物。 MITにいる間、彼と一緒に中国料理を食べる人がいなくなるまで留まりました。


Jeff Stephenson

ジェフ・スティーブンソン

30歳の武道のベテランで、 Sierra On-Line に参加すると夏のキャンプに参加することに驚きました。


Jay Sullivan

ジェイ・サリバン

冷静なウィザードレベルのプログラマーで、 Informatics 社で印象的な存在で、"any"という言葉の意味を知っていたことでKen Williamsに感銘を与えました。


Dick Sunderland

ディック・サンダーランド

チョークのような顔立ちのMBAで、 堅実な経営陣のビューロクラシーを尊重する価値ある目標だと信じていましたが、 Sierra On-Line の社長として、ハッカーたちはそうは考えていませんでした。


Gerry Sussman

ジェリー・サスマン

喫煙パイプでプログラムを「munged」と呼ばれた若きMITハッカーで、後にアルゴリズムの魔法によって「winner」となりました。

Margot Tommervik

マーゴット・トマーヴィック

彼女の夫Alと共に、彼女はゲームショーの賞金を誌に変え、Apple Computerを神聖視する雑誌を作成しました。


Tom Swift Terminal

トム・スウィフト・ターミナル

Lee Felsensteinの伝説的な、 建設されないであろうコンピューターターミナルで、 ユーザーに世界に触れる最終的な自由を与えるものでした。


TX-0

TX-0

小さな部屋を埋め尽くすものでしたが、 1950年代末にはMITのハッカーコミュニティ向けに世界初の個人用コンピュータでした。


Jim Warren

ジム・ウォーレン

Homebrewの「テクノゴシップ」を提供するふくよかな人物で、 ヒッピー風のDr. Dobbs Journalの最初の編集者であり、 後に利益を上げるComputer Faireを開始しました。


Randy Wigginton

ランディ・ウィギントン

Steve Wozniakの子供向けチームのメンバーで、 彼はWozと一緒にApple IIをHomebrewに持ち込みました。 彼はAppleの最初のソフトウェア従業員として高校生のままでした。


Ken Williams

ケン・ウィリアムズ

高慢で才能ある若いプログラマーで、 CRTに書かれたことを見てSierra On-Lineを立ち上げ、 Appleコンピュータ用のゲームを販売することで社会を改善しようとしました。


Roberta Williams

ロバータ・ウィリアムズ

ケン・ウィリアムズの内気な妻で、 彼女は自分自身の創造性を再発見し、 彼女の多くのベストセラーコンピューターゲームの最初である「Mystery House」を書きました。


Stephen "Woz" Wozniak

スティーブン「ウォズ」ウォズニアック

心を開いて、 技術的に大胆なハードウェアハッカーで、 サンノゼの郊外出身で、 彼自身と友達の楽しみのためにAppleコンピュータを作りました。


AIM-291-McCarthy: AN UNREASONABLE BOOK

以下は DARPA が 1970 年代に記録したドキュメント Three Reviews of J. Weizenbaum's COMPUTER POWER AND HUMAN REASON に収録されている3番目の書評です。 このドキュメントは An Unreasonable Book (13-Jun-2000) でも公開されています。


以下のレビューは、Creative Computer誌およびSIGART News Letter誌に掲載された。

理不尽な本

Joseph Weizenbaum,
Computer Power and Human Reason,
W.H. Freeman Co., San Francisco 1975

この道徳主義的で支離滅裂な本は、 ルイス・マンフォード、セオドア・ロザック、ジャック・エルールらが推進する、 科学が人間と世界に対する不道徳な見方をもたらしたという見解を支持するために、 コンピューター科学とテクノロジーを例証として用いている。 ある種の研究が、世界と人間についての「猥褻」な図式に基づくものであったり、 そのような図式を生み出す可能性があるのであれば、 それを行うべきではないという主張には、私は恐怖を覚える。 さらに悪いことに、この本の「猥褻」という概念は、 活動家の官僚による恣意的な解釈を許すほど曖昧である。


彼が本当は何を信じているのかを理解するのは難しい

ワイゼンバウムのスタイルは、極端な発言をし、後に矛盾する発言で修飾する。 したがって、ほとんどすべての引用は文脈から外れており、彼の主張を正確に要約することは難しい。

以下の文章はその難しさを物語っている:

「1935年、(イギリスの化学者であり科学哲学者であった)マイケル・ポランニーは、ロシア共産党を代表する理論家の一人であるニコライ・ブハーリンにこう言われた。「社会主義のもとでは、それ自身のために追求される科学という概念は消え去り、科学者たちの興味は自発的に現在の5カ年計画の問題に向かうだろう」と。ポランニーは当時「科学的展望は、人間と歴史について機械的な概念を生み出しているように見え、そこには科学それ自体の居場所はない」と感じていた。そしてさらに「この観念は、思考に内在するいかなる力も完全に否定し、その結果、思考の自由を主張するいかなる根拠も否定したのである!」 -- 1ページ。ワイゼンバウムは思想と科学の自由を支持し、それらに対する脅威を懸念している。しかし265ページには 

「そのスローガンを自分勝手な目的のために利用するために、"それ自身のための知識" を喧伝し続ける科学者は、科学と知識を現実世界との接触から切り離している」。ここでワイゼンバウムは、純粋科学、すなわち好奇心だけを動機とする研究に反対しているようだ。また「ごく少数の例外を除いて、20年以上にわたる人工知能の研究から、一般に産業界、特にコンピュータ産業界にもたらされた成果はない」 -- 229ページ。これもまた、科学の検証には産業界での成果が必要であることを示唆している。

「科学はマンパワーを約束した。しかし、人々が力の約束に誘惑されるときによく起こるように、実際に支払われる代償は隷属と無力である」。これは本のジャケットに書かれている。おそらく出版社は、この本の主旨をよく要約していると考えているのだろう。

「以下では、人間を情報処理装置として見ることに何の問題もないと主張し、 それを理解しようとすることにも問題ない。 ただし、1つの視点だけで全体の人間を理解できると考えて行動しない限り」 -- 140ページ 私たちは確かにそう考えることができる。が…

「科学への際限のない貪欲さによって、 私たちは科学に依存するようになった、 しかし、他の多くの薬物と同じように、 科学は徐々に緩やかに作用する毒に変わってきた。 緩やかに作用する毒に変わってしまった」 -- 13ページ これらは次のように引用されているが…

「私は科学技術の合理的な利用を主張する、 その神秘化ではなく、 それを放棄することは言うに及ばず」 -- 256ページ

組換えDNAを使った特定の実験が危険であるとして、 モラトリアム(一時停止)を提案したことについては、 「彼らの提案は確かに正しい方向への一歩であり、 そのイニシアチブは称賛に値する。それにしても、 なぜ自分たちが推奨していることに理由をつけなければならないのだろうか? 科学者を含む人間には、 すべてをモノとして扱うという狂気から生命そのものを免除するという至上命題がある。 なぜ説明する必要があるのか? 最も善意ある人々の最も崇高な行為でさえ、 現代の腐敗した価値観の風潮に毒されているように見える。」 ワイゼンバウムはすべての実験生物学、 あるいはDNAを使ったすべての実験に反対なのだろうか? この引用からそう結論づけるのはためらわれる。 彼は他のどこかで正反対のことを言っているかもしれない。 ワイゼンバウムの目標である、 理由を説明する必要すらなく研究の一線を断念させるというのは、 大衆のヒステリーと官僚の権力が結びついた雰囲気でなければ達成できそうにない。 これは、宗教的熱狂の状況下、ナチス・ドイツスターリン主義のロシア、 「文化大革命」の中国で起こったことである。 おそらくアメリカでは起こらないだろう。

「自分が誰であり、 何であるかを知っている者は、 自分が何をすべきかを問う必要はない」 -- 273ページ 読者に断言しておくが、この本の中には、 この尊大さを解釈する方法は何もない。 私は、彼の 糾弾に理由をつけなければならない という束縛から解放されたいという、 別の願いだと受け止めている。

このような大言壮語的な戒律の危険性は、 特定のケースに適用するために神権を必要とすることであり、 神権を持つ可能性のある人物の周りには、 すぐに神権者が集まってくる。 その結果、人は何か具体的なことをしたのではなく、 その人のありのままの姿で攻撃されることになる。 『Ms.』の1976年4月号には、 「ゴミ捨て」に関する記事の中で、 このことを痛烈に示している。

「一人の人間として扱われない限り、個人は非人間化される」 -- 266ページ。 これもまた、エンカウンターグループ運動のように司祭の解釈の対象となる。

「最初の(コンピュータ・アプリケーションの)類いは、 単に猥褻と呼ぶべきものだ。 これは、文明人なら誰もが嫌悪感を抱くようなものである。 先に述べた、 動物の視覚システムと脳をコンピューターに導くという提案はその一例である。 これは生命そのものへの攻撃である。 提案者たちの生命に対する認識、 ひいては自分たちが生命の連続体の一部であるという認識に、 何が起こったのだろうか」 答えになりそうな議論は提示されていないし、 受け入れられるかどうかの基準を定義しようともしていない。 ワイゼンバウムとこの本を賞賛した科学者たちは、 この本が抑圧的に使われることに驚くかもしれない。 しかし、 彼らはこの本の中の全く反対の感情を持つ箇所を指摘することができるだろうから、 抑圧は彼らの責任ではないだろう。


しかし、ここで要約してみよう:

これらの矛盾した文章が示すように、 ワイゼンバウムの立場を判断するのは容易ではないが、 以下の点がこの本の要点のようだ:

1. コンピュータは人間ほど強力に思考することはできない。

これは、コンピュータ科学者による楽観的すぎる予測の引用や、 非言語的な人間のコミュニケーションの例を挙げることで裏付けられている。 しかし、ワイゼンバウムは、 コンピューターが実行できない具体的なタスクを挙げていない。 それは「コンピューターが、今ここで、あるいは将来にわたって、 何ができ、何ができないかについての目録を作るという、 不必要で、際限がなく、究極的には不毛な作業を避けたいから」である。 また、人間の推論と機械の推論は比べるべくもなく、 人間の推論には人間の感覚的経験が不可欠であるとも述べている。

2. コンピューターのプログラムに実行させるべきではない仕事がある。

ワイゼンバウムがまったくすべきでないと考えている仕事もある。 ほとんどは新左翼の理由からだ。 彼の政治性には異論があるだろうし、 私もそう思うが、明らかにコンピューターは、 すべきでないことをすべきでない。 しかし、ワイゼンバウムは動物の脳をコンピューターに接続することや、 コンピューターによる精神医学的面接にも異議を唱えている。 前者については、 彼が反生体解剖主義者であるかどうかはわからなかったが、 「不快」と呼ぶには、さらに理由があるようだ。 コンピューターが精神医学的面接を行うことへの反対には、 コンピューターが必ず悪いことをするという確信以上の要素もある。 精神科医がセラピストとして、 自分自身を治療者として行動する人間としてではなく、 規則などに従う情報処理装置として見るとき、 患者に対する精神科医のイメージはどのようなものになるのだろうか。 これは、科学が復活したときに出てきた、 人体を解剖することに対するルネサンス時代の宗教的反対意見に似ているような気がする。 ローマ法王たちでさえ、 科学的あるいは医学的な目的のために身体を機械とみなすことは、 魂の神殿とみなすこととまったく両立するものだと、 最終的には自分たちを納得させた。 最近では、 科学的あるいは精神医学的な目的のために 精神的なメカニズムを研究することについても、 同様の見解が示されている。

3. 科学は人々を世界と生命に対する間違った見方に導いた。

その見方は機械論的であり、時計仕掛けの例が挙げられている。 (コンピュータ科学者がこのような例を挙げるのは奇妙に思えるが、 旧来の機械論的モデルに対するコンピュータ・モデルの進歩は、 コンピュータには意思決定ができ、 時計仕掛けには意思決定ができないということだからである) どうやら、生命システムを 相互に作用する部分から構成されるものとして分析することは、 分析せず全体として扱うことよりも悪いようだ。

4. 科学は、信頼できる一般的知識の唯一の、あるいは主要な情報源ではない。

しかし、彼は他の知識源を提案したり、 科学的知見の限界を述べたりはしない、 ある考えを「猥褻」であるとする以外は。

5. 特定の人々や機関が攻撃されている。

これには「国防」省(おっと)、 Psychology Today、 New York Times Data Bank、 強迫的なコンピュータープログラマー、 Kenneth Colby、 Marvin Minsky、 Roger Schank、 Allen Newell、 Herbert Simon、 J.W. Forrester、 Edward Fredkin、 B.F. Skinner、 Warren McCulloch(年をとるまで)、 ラプラス、 そしてライプニッツが含まれる。

6. ある種の政治的、社会的見解が当然視されている。

米国のベトナム政策は「殺人的」であったという見方は、 (「合理性」とは対照的な)「論理性」に対する攻撃や、 「遅効性の毒」としての科学に対する見方を支持するために使われている。 「民衆の自家用車への渇望が培われ、 ついには病みつきになったのかもしれない。」(p.30) は、心理学的、社会学的、政治学的、技術的な予想をワンフレーズで行っている。 同様に、「その代わりに、真に安全な自動車、まともなテレビ、万人向けのまともな住宅、快適で、安全で、広く行き渡った大量輸送機関を持つことを選択することもできる」 という言葉は、これらのものが何であるか、 何が技術的に実現可能であるか、 政策を変更した場合にどのような効果があるか、 人々の嗜好を変えることを目的としたどのような活動が 政府にとって許されるかについて、 幅広い合意を前提としている。


イライザの事例

本書で最も興味深いのは、 ロジャー流非指示的心理療法をパロディにした彼自身のプログラム「ELIZA」の説明と、 それに知性や人格をどのように当てはめている人がいるかについての逸話であろう。 私見だが、アルゴリズムという概念を理解していない人が、 コンピュータが人間の推論と同じように計算すると想像するのはごく自然なことだ。 これは、正確な計算が正しい推論を伴うという考えや、 コンピュータの誤作動が人間の神経症や精神病に類似しているという考えにさえつながる。 実際、前提条件から興味深い結論を導き出すようにコンピュータをプログラミングすることは非常に難しく、 限られた成功例しかない。 しかし、このような自然な誤解がもたらす影響は誇張されるべきではない。 特に、ある経営幹部がミスを犯したときに、 コンピューターに過度の信頼を置いていたと言い訳するような場合には、 ある種の懐疑的な見方が必要である。

この関連ではコルビー(1973)の研究が興味深いが、以下は私の解釈である。 コルビーは、精神科医にテレタイプ回線を使って患者と面接させ、 さらに妄想症患者をシミュレートする彼の PARRY プログラムとも面接させた。 他の精神科医に、そのインタビューが人間によるものなのかプログラムによるものなのかを、 その記録から判断するよう求めたところ、彼らは偶然に勝るとも劣らない結果を得た。 しかし PARRY は最も単純な因果関係の推論ができないので、 「あなたの後をつけている人たちがマフィアだとどうしてわかるのですか」と尋ねて、 「イタリア人に似ている」という答えが返ってきたら、 これは PARRY ではなく人間に違いない。 不思議なことに、 人間の知的な面よりも感情的な面を模倣する方が (精神科医を騙すのに十分なほど)簡単なのである。 おそらく被験者たちは、 機械がより論理的な能力を持っていると期待し、 その期待が彼らのミスにつながったのだろう。 残念なことに、ACM(Association for Computing Machinery) の名簿から無作為に選んだものでも、 それ以上の結果は得られなかった。

ELIZAとPARRYが示しているのは、 精神科医を含め、 人々はしばしばわずかな証拠で結論を出さなければならず、 それゆえに簡単に騙されてしまうということだけであるように 私には思える。 もし私の考えが正しければ、 二つの指示文があれば、 もっとうまくやれるだろう。

1966年のELIZAに関する論文(引用者注:1965年)の中で、 ワイゼンバウムは次のように書いている。 「拡張版ELIZAプログラムの1つの目標は、このように、 現実世界のある側面に関する情報の蓄積にすでにアクセスできるシステムであり、 人々との会話による相互作用によって、 そのシステムが知っていること、 すなわち情報検索システムとして動作すること、 そしてその知識がどこで終わり、 どこを拡張する必要があるのかを明らかにできることである。 うまくいけば、 知識の増強もまた、 会話経験の直接的な結果となるだろう。 そのようなプログラムが多くの人々と会話し、 彼ら一人ひとりから何かを学ぶという見通しこそが、 興味深い、 さらには有用な会話のパートナーになるという希望につながるのだ」 彼がこの目標を成功させられなかったのは残念だ。 成功するためには、 この本で紹介されている以上に、 形式化について理解している必要があったと思う。


彼はコンピュータについて何を述べているのだろうか?

ワイゼンバウムの主な結論は科学一般に関するものであり、 道徳主義的な性格を帯びているが、 コンピュータ科学とAIに関する彼の発言にはコメントする価値のあるものがある。

  1. 彼は、コンピューターは人間の経験を持つことができないので、 人間を理解することはできないと結論づけた。 これには3つの反論がある。 第一に、人間はお互いの経験を共有し、 機械や動物の経験は限られた範囲でしか共有できない。 特に、男性と女性では経験が異なる。 とはいえ、文学の世界では、 優れた作家が、同性の下手な作家よりも、 異性の経験をより深く理解していることはよくあることだ。 第二に、経験という概念はよく理解されていない。 もしこの概念をもっとよく理解していれば、 通常人間に限定される疑似経験や代理的経験を機械が持ちうるかどうかを推論できるだろう。 第三に、理解するということが何を意味するのかがよく理解されていないので、 機械が何かを理解するかどうかをどう定義すればいいのかがまだわからない。

  2. 人工知能を批判した先人たち、 タウベ、ドレイファス、ライトヒルと同様、ワイゼンバウムもせっかちで、 20年経っても問題が解決しないなら、それはあきらめる時だとほのめかす。 遺伝学は、メンデルからタンパク質の遺伝暗号ができるまで約1世紀かかったが、 知性と行動の遺伝学と進化を完全に理解するまでには、まだ長い道のりがある。 人工知能も同様に難しいかもしれない。 機械が人間レベルの知能に到達するのはいつかという質問に対する私の現在の答えは、 正確に計算すると、目標まであと1.7~3.1アインシュタインと0.3マンハッタン計画の間ということだ。 しかし、現在の研究は、アインシュタインが自らの基盤とする情報を生み出し、 有用な能力を常に生み出している。

  3. この本は、 現象のコンピュータ・シミュレーションと論理学での形式化を混同している。 シミュレーションは形式化の一種に過ぎず、 コンピュータにとってさえ最も有用なものであるとは限らない。 そもそも論理的・数学的形式化は、 シミュレーションには不十分なシステムに関する部分的な情報を利用することができる。 エネルギー保存の法則は、 エネルギー変換システムを定義する前に、 その可能性について多くのことを教えてくれる。 シミュレーション・プログラムが利用できる場合でも、 シミュレーションをうまく利用するためには、 他の形式化が必要である。 この書評では、 これらの概念間の関係を完全に説明する場所ではない。

パンチの有名な牧師の卵のように、この本は部分的には良い。 そのため、以下のような興味深い問題を提起している:

  1. コンピューターが愛を望んだり、 絶望したりすることはどういうことだろうか? これらの質問に対する答えは、 問題となっている現象を (シミュレーションではなく) 形式化できるかどうかにかかっている。 私の予想では、 信じることと望むことの公理化に希望の概念を加えることは難しくないかもしれない。 哲学的論理学における命題と態度の研究は、 そのような方向を指し示している。

  2. 経験の違いによって、 人間と機械の知性は必ずしも大きく異なり、 機械が機械よりも知的になれるかどうかを問うことは無意味なのだろうか? 私の考えでは、比較することに意味があると思う。 結局のところ、ほとんどの人は、 人間が七面鳥よりも知能が高いと信じて疑わない。 人間の知能が感覚能力に依存しているというワイゼンバウムの例示は、 反論の余地があるようにさえ思える。 なぜなら、感覚的に深刻なハンディキャップを負っている人たち、 たとえば聾唖者や盲人、あるいは半身麻痺の人たちにも、 人間性の根本的な違いは認められないからである。


不当に攻撃された人々を守るために ー 無実の人々もいる

以下はワイゼンバウムの標的に対する弁護である。 これらは擁護者に完全に適合することを保証するものではない。

ワイゼンバウムの推測によれば、 国防総省音声認識研究を支援しているのは、 電話の会話を盗み見るためだということだが、 これは偏見に満ちており、根拠がなく、虚偽であり、 政治的悪意が動機となっているようだ。 このプロジェクトを提案した科学者委員会は、 まったく異なる検討を進めたし、 最終決定を下した高官たちは鬼ではない。 いずれにせよ、彼らは他の責任を負っており、 複雑で狡猾な検討などしている暇はない。 私がこの件を最初に取り上げたのは、 多くの科学者が不当とわかっている攻撃から 国防総省を守らなかったこと自体が不当であり、 さらに国に損害を与えたと考えるからである。

ワイゼンバウムは、 コンピュータによる音声認識が、 電話の会話を盗み見る以上の費用対効果の高い用途に使われることに疑問を抱いている。 このような機械が存在することで、 より簡単に解決できるような差し迫った人間の問題が存在することに疑問の余地はない。 いったん機能すれば、コストは下がるだろう。 ウィノグラードは、 コンピュータの家庭での応用の可能性の多くは、 コンピュータによる音声認識なしには実現不可能かもしれないと指摘した。 人は、認識されている問題を解決する方法と、 新しい技術の可能性を有効に活用する機会の両方について考える必要がある。 電話は、すでに特定されているコミュニケーションの問題を検討する委員会によって 発明されたものではない。

サイコロジー・トゥデイのことをカフェテリアと呼ぶのは、 自分たちの心理学的知識を一般大衆レベルより上のものだと 考えたがる人々の俗物意識を刺激するだけである。 私の知る限り、専門家やアカデミックな心理学者たちは、 サイコロジー・トゥデイが提供する、 自分たちの考えを広く一般大衆に説明する機会を歓迎している。 ワイゼンバウムがうまく頼めば、 彼らはワイゼンバウムの本の縮小版を買うかもしれない。 うーん、彼らはこの書評さえ買うかもしれない。

ワイゼンバウムは、 ニューヨーク・タイムズが運営するものとは異なる ニューヨーク・タイムズ・データバンクを発明した。 本物のデータバンクは人間が書いた抄録を保存し、 植字機用のテープは使わない。 その結果、ユーザーは抄録にしかアクセスできず、 記事そのものの特徴を検索することはできない。

コルビーが提案したように、 コンピューター・プログラムを心理療法士として使うことは、 もしそれが人々を治療するのであれば、道徳的である。 残念なことに、 コンピューター科学はそれに対応していないし、 精神科医もそうではないかもしれない。

私は、芸術理論家が形式理論の開発に消極的であることを批判するミンスキーに同意する。 ジョージ・バーコフの形式理論はおそらく間違っていただろうが、 挑戦したことを批判されるべきではなかった。 この問題は私には非常に難しく、 アーサー・ケストラーからの 「コンピューター・プログラムがどのようにジョークを作るのか、 あるいはジョークを認識するのか」 という挑戦に対して、 私は大きな進歩を遂げることができなかった。 もしかしたら、この批評の読者ならもっとうまくいくかもしれない。

「強迫的なコンピューター・プログラマー」や「ハッカー」を攻撃する章がある。 この神話上の獣はコンピュータの研究室に住み、 タイムシェアリングシステムの裏も表も知り尽くし、 タイムシェアリングシステムを難解な機能で練り上げ、 決して文書化しない。 これらの悪癖はすべて存在するが、 これらを兼ね備えた個人は思いつかない。 ラボのディレクターとして、 私は、設備を複雑にしすぎる傾向から、 パートタイムでしかプログラミングをしない人々の利益を守らなければならない。 すべての時間をプログラミングに費やし、 口コミで情報を交換する人たちは、 時には適切な書き込みをするように迫られなければならない。 この問題の裏側には、 われわれコンピュータ・サイエンスの教授が、 練習不足のために実際のコンピュータ・プログラムを書く能力を失い、 研究室にフルタイムでいられる若い人たちをうらやむことがあるということがある。 この現象は、他の科学や他の人間活動でもよく知られている。

ワイゼンバウムはイェール大学のコンピューター言語学者ロジャー・シャンクを次のように攻撃している: 「言語間の概念基盤が存在し、 その上にある言語の言語構造が理解の過程でマッピングされ、 [言語的発話の]生成の過程でそのような構造が作り出される」 と主張されるとき、何が貢献されるのだろうか?まったくない。 というのも、「概念的基盤」という言葉は、 「何か」という言葉に置き換えてもまったく差し支えないからである。 そして、誰がそのように変換された文に反論できるだろうか? ワイゼンバウムは続けて、 真の科学的問題は「相変わらず手つかずのままである」と言う。 次のページでは、「シャンクのようなスキーム」が "Will you come to dinner with me this evening?" という文章を「内気な若者の愛に対する切実な憧れ」という意味だと理解しない限り、 システムが「理解する」という意味は 「ELIZAが「理解する」という意味と同じくらい弱い」 と述べている。 この好例は興味深い問題を提起し、 いくつかの区別を要求しているようだ。 この文章を完全に理解することは、 確かに青年の愛への願望を知ることにつながるが、 マシンが知ることができるのは、 彼が彼女に夕食に来てほしいということだけであるという、 より低いレベルの理解も有用であるように思われる。

シャンクやウィノグラードに対するヴァイツェンバウムの人間以上に厳しい態度と、チョムスキーに対する敬意に満ちた、さらには卑屈な態度とは対照的である。 「言語学者の最初の仕事は、 特定の言語の文法、 つまり規則のセットを書くことであり、 それらの言語の文法的に許容される文のすべてを特徴づけることのできる文法である。 そして、そのような文法すべての重要な特徴を予想できる原理を仮定するのである。 別の言い方をすれば、 チョムスキーの仮説は、 そのような普遍文法の規則が、 人間の心の重要な側面の一種の射影的記述を構成するだろうということである。」 ここには、普遍文法が青年の恋愛願望を考慮に入れることを要求するものは何もない。 私が見る限り、チョムスキーは我々人工知能と同じ合理主義者である。

概念ベースというシャンクの目標は、 普遍文法というチョムスキーの目標と似ているが、 シャンクの考え方はさらに発展しており、 彼の生徒のプログラムのパフォーマンスを現実と比較することができる。 抜本的な見直しが必要で、まったく正しい方向には進んでいないかもしれない。 私は、知的存在が世界について知っていなければならない基本的な事実を どのように表現するかということに関して、かなり異なった研究を進めている。 私の考えは、言語からではなく、認識論から出発することである、 言語による表現は二次的なものであると考えるのだ。 このアプローチは困難であることが判明しており、 実践者はほとんどおらず、コンピュータ・プログラムもほとんど生まれていない。 しかし、私は今でもそれが正しいと思う。

ワイゼンバウムは、チョムスキー派のシャンクやウィノグラッド、 他のAIベースの言語研究者に対する高慢な態度を支持している。 彼は184ページで、 「たとえばノーム・チョムスキーのような多くの言語学者は、 言語に関する考えがまだ有用に活用される余地があり、 彼らの現在の理論をコンピュータモデルに変換しようとする試みは、 最も資格のある人々によって行われても、 主要な仕事からの逸脱であると考えている。 そして、彼らはハッカーたちの研究に エネルギーを費やす意味を 正当に認識している」と述べている。

これによって「強迫的なコンピューター・プログラマー」、 別名「ハッカー」についての章が、より鮮明に浮かび上がってくる。 チョムスキーの最新刊『Reflections on Language』では、 ウィノグラード、シャンク、シャルニアック、ウィルクス、ボブロー、ウィリアム・ウッズといった、 自然言語を扱う大規模なコンピュータ・システムを開発し、 自然言語の意味論に関する論文を書いている人々の仕事については一切触れていない。 自らをハッカーと呼び、 ワイゼンバウムの説明に最も近い実際の若いコンピューター・プログラマーたちは、 自然言語に関する論文を書かない。 つまり、研究する必要のないハッカーとは、 教授や上級科学者であるウィノグラード、シャンクらのことである。 チョムスキー学派は、 自然言語の意味論が構文論よりも基本的であるという結論に達したのはごく最近のことである。 一方、AIをベースとする研究者たちは、15年前からこの路線を追求してきた。

外部の観察者は、これがMIT内部での枕投げであることをある程度認識すべきである。 チョムスキーとハレはM.I.T.から離れないし、ミンスキーも離れない。 シャンクはイェール大学では安泰だ。 ワイゼンバウムも終身在職権を持っている。 しかし、特にMITでは、言語学助教授職が危うくなるかもしれない。

アレン・ニューウェルとハーバート・サイモンは、 人間を差異を減少させる機械として表現しようとしたことで、 過大評価であると批判され、 道徳的に欠陥があるとみなされている。 人間は複雑な環境における単純なシステムであるというサイモンの見解は、 攻撃の対象として特別視されている。 私に言わせれば、 彼らが過大評価だったのは、 彼らが賭けたGPSモデルが十分ではなかったからだ。 ニューウェルズの現在の生産システムモデルの方がうまくいくかもしれない。 人間の精神構造が最終的に単純なものになるかどうかについては、 私は迷うところだが、 最も複雑な生物学的現象のひとつになるだろうと思う。

フォレスターのモデルは質的な変化を考慮することができないし、 彼らが構築した世界モデルは、 システムが拡大率に制限されている限り、 カーブ・フィッティングでは発見できない需要の飽和効果を省いているため、 それ自体でも欠陥があると私は考えている。 さらに、 彼のモデルが「社会システムがどのように振る舞うかを解釈する」上で、 助けのない頭脳よりも適しているという主張も受け入れられないが、 246ページのワイゼンバウムの皮肉は説得力がない。 彼はフォレスターの言葉を引用している。 「(社会システムの望ましい行動様式は)システムの力学をよく理解し、 望ましい様式に伴う自己規律と圧力に耐えようとする場合にのみ可能であるように思われる」。 ワイゼンバウムは、 「『システム』と『ダイナミクス』という言葉には、 この観察に穏やかな意味を与えるような解釈があるのは間違いない」 とコメントしている。 申し訳ないが、 フォレスターが提案した社会的目標や、 必要な仮定を立て、 それを彼のモデルに落とし込む可能性に対して適切に批判的であれば、 私には問題ないように見える。

スキナーの行動主義は、 人の内的状態に現実を割り当てることを拒否しており、 私には間違っているように思えるが、 彼が真実だと考えていることを私たちに納得させようとすることを不道徳だとは呼べない。

ワイゼンバウムは、 プロジェクトMACの元ディレクターであるエドワード・フレドキンと、 MITの故ウォレン・マッカロックの名前を伏せて引用している。 おそらく彼は、いくつかのパズルがこの本をより面白くすると考えているのだろう。 自動プログラミングの研究に対するフレドキンの嘆願は、 現在我々の社会が意思決定をコンピューターに依存している度合いを過大評価しているように思える。 また、特定の大学の教授陣が技術の用途をコントロールする能力を過大評価し、 知識ベースのシステムを実用化することの難しさを過小評価している。 ワイゼンバウムの指摘は正しいが、 フレドキンは社会における真の対立の存在には言及していない。

(マッカロス1956)からの引用に関しては、 ミンスキーは私に 「これは心理的決定論の泥沼の中に尊厳ある自由の感覚を見出そうとする勇敢な試みである」 と語っている。 おそらくこれは今ならもっとうまくできるだろうが、 ワイゼンバウムはマッカロスの1956年の努力が 彼の道徳的な信用を失墜させるものであると誤ってほのめかしている。

最後に、ワイゼンバウムは2つの発言を私に帰している。 いずれも口頭発表によるものだが、私には確認できない。 そのうちのひとつは、 「現実世界のあらゆる側面のシミュレーションにまだ成功していない唯一の理由は、 十分に強力な論理計算が欠けているからだ。 私はその問題に取り組んでいる」。 この発言は、 現在の私の意見も、 1973年に私がディベートで述べたとされる私の意見も押し付けてはいないし、 ディベートのビデオテープからも見つけることはできなかった。

「現実世界のあらゆる側面」をシミュレートすることはできない。 なぜなら、初期状態の情報が入手可能であり、 運動法則が不完全に知られており、 シミュレーションのための計算が膨大すぎるからである。 さらに、シミュレーションが必ずしも我々の疑問に答えてくれるとは限らない。 その代わりに私たちは、 与えられた感覚能力を持つ機械や生物が実際に利用できる現実世界に関する情報を コンピュータのメモリに表現する方法と、 利用可能な情報から正しく推測される行動コースの効果に関する有用な結論を導き出す手段を見つける必要がある。 十分に強力な論理的微積分を持つことは、 この問題の重要な部分である。

【1976年9月追記 -- この発言は、「人工知能」の傲慢さの一例として、 ワイゼンバウムの本の書評の大部分 (『データミエーション』や『ネイチャー』など)で引用されている。 ワイゼンバウムは、 ライトヒルの討論会でそれを聞いたと強く主張し、 その裏付けとして自分のメモを引用したが、 後に(『データミエーション』で)テープを見直した結果、 そうではなく、 私が他の討論会で言ったに違いないと認めた。 1959年以来、 私が繰り返し述べてきた見解と矛盾するからだ。 私の現在の推測では、 ワイゼンバウムは私が形式化の重要性について何か言ったのを聞いたが、 何を言ったのかよく覚えておらず、 コンピュータモデリングと形式化の関係についての彼自身の誤解に基づいて 「マッカーシーが言ったに違いないこと」を引用したのだろう。 (彼のコンピュータに関する2つの章には、 宣言的知識と手続き的知識の違いや、 AI文献におけるそれぞれの役割に関する議論についての認識が全く見られない) 言うまでもなく、 私が行ったこともなく、 AIへの私の主要な貢献を示すと思われる見解に反する尊大な発言を、 査読者が繰り返し引用することは、 非常に不快である】

私の2つ目の引用は 「コンピューターに教えられないことを裁判官は知っているのか」 という修辞的な質問である。 もし「最終的に教える」ことを義務づけるなら、 そして特に、 ある人間が他の人間に確実に教えることができるものであることを義務づけるなら、 私はそれに従うだろう。


論争的な罪の要約

この本の思索的な部分には、 時計の発明が人間性を失わせる効果について述べた次のような、 怪しげな小理屈が数多く含まれている:
「時計は文字どおり新しい現実を創造した。 それこそ、私が先に、 近代科学の勃興の舞台を準備するために人間が行ったトリックが、 自然と現実認識の変容にほかならないと言った意味である。 この新しく創造された現実は、 古い現実の貧弱なバージョンであり、 今もなおそうであることを理解することが重要である。 なぜなら、この現実は、 古い現実の基礎を形成し、 実際にそれを構成していた直接的な経験の拒絶の上に成り立っているからである。 その代わりに、 抽象的なモデルがある状態を達成したとき、 つまり時計の針が時計の文字盤のあるマークを指したとき (ここでの擬人化も非常に重要である) 人は食事をする。 同様に、睡眠と起床の合図などもそうである。」

このような原始時代の生活の理想化は、単に軽率なだけである。 現代人と同じように、原始人は食べ物ができたときに食べた。 現代人と同じように、原始人は家族で生活していた。 その家族のメンバーが一度に空腹になる可能性は、 現在の家族のメンバーほど高くない。

このミクロ理論を覆すことで、 私はゲームをプレイしているのではないという感覚を覚える。 理論は雰囲気を提供するためだけのものであり、 小説の読者のように、私は不信感を抱くことになっているのだ。 しかし、科学が私たちを心理的エデンの園から追いやったという主張は、 このような言葉の絵に大きく依存している。

ところで、MITでの最後のサバティカルで思い出したのだが、 第4章で嘆かれている「ハッカー」たちにとって空腹感は、 原始人にとってそうであったかもしれない以上に、 食べるための直接的な社会的刺激となっている。 爽やかなニューイングランドの夜、 時計が3時を告げたときでさえ、 彼らが互いに呼び合う声が聞こえ、 スクリーンにメッセージが点滅し、 ハッカーの群れが魔法のように集まり、 絵に描いたような集会全体がチャイナタウンへと駆け足で去っていくことがよくある。

私は、この本は以下の点で論争的な文章として水準に達していないと思う:

  1. 著者は、論じている問題について自分自身の立場を確立していない。 ある場所では極端な発言をし、 別の場所では矛盾した発言をするというのは、 すべての要素を考慮に入れて考慮された立場に到達しようとすることの代わりにはならない。 疑うことを知らない読者は、 実に多様な見解を持ってしまうだろうし、 矛盾した立場を支持するためにこの本を利用することもできる。

  2. コンピュータ言語学者たち(ウィノグラード、シャンクら)は、 ハッカーや強迫的なコンピュータ・プログラマーとして誹謗中傷されている。

  3. 彼がどのような生物学的、 心理学的実験やコンピューター応用を許容できると考えているのか、 もっと正確に知りたいものである。 この点については、 レビュアーがすでにさまざまな結論を出している。

  4. 「本物」、「不快」、「非人間的」という言葉が圧力手段として使われている。 これは数学者が言うところの「脅迫による証明」である。

  5. この本は、自分の見解を主張する必要などなく、 ただ隠語を口にし、それを聞いた聴衆が拍手したり、 場合によってはヒスを起こしたりするような俗物主義を助長している。 『ニューサイエンテイスト』誌の評者は、 確かに意図した場所のほとんどで唾を飲んでいる。

  6. 最後に、道徳的な主張が激しさと曖昧さを併せ持つ場合、 既存の権威や新しい政治運動による権威主義的な濫用を招く。 もしこの本が、ある官僚機構、 例えば技術評価局(Office of Technology Assessment)のバイブルとなり、 大学や州、国のコンピュータや科学活動に対する権力を獲得したとしよう。 ワイゼンバウムのスローガンが、 何かを禁止する法律とそれを執行する熱心な若手弁護士からなる官僚機構によって どんな問題も解決できるという官僚倫理と結びついたとしよう。 さらに、漠然とした「人道的研究法」と、 この法律の新たな解釈を立法化するために裁判官を訴える 熱心な若手弁護士を擁する「公益」団体を想定してみよう。 科学者よりも多くの弁護士を必要とする研究所と、 ほとんど何でも禁止したり要求したりできる 人道的研究管理者を見ることができる。

ワイゼンバウムが自分の研究がこのように使われることを予期していた証拠はない; 彼は、経済学者の「レッセ・フェール(自由放任)」のような、 科学官僚になるべき人たちの「レッセ・イノヴェ(自由革新)」というフレーズを使わないし、 官僚的倫理観の一般的な表現である「それが決定されるべきだ」という不定形のフレーズも使わない。 しかし、彼はコンピュータ科学者仲間に、 少なくとも専制政治の可能性を心配する理由を与えたことは確かである。

コーネル大学の初代学長であったアンドリュー・D・ホワイトの言葉を引用して、 このセクションを締めくくろう。 「すべての近代史において、 宗教の利益のためと思われる科学への干渉は、 たとえそれがどれほど良心的な干渉であったとしても、 宗教と科学の両方にとって悲惨な弊害をもたらした; 他方、自由奔放な科学的調査は、 その段階がいかに宗教にとって危険なものであったとしても、 宗教と科学の双方に最高の利益をもたらすものであった。 道徳を宗教に置き換えてみれば、その類似性は明らかだ。 率直に言って、 科学の自由に対する攻撃に対する反応の弱さは、 攻撃の強さよりも私を不安にさせる。


コンピュータに関するどのような懸念が正当化されるのか?

ワイゼンバウムの過ちやモラルについて不平を言うだけでは十分ではない。 真の懸念がこの本を書かせたのであり、 多くの人々がそれを共有している。 以下は、私が確認できた真の懸念と、 その解決についてのあるコンピューター科学者の意見である: コンピュータが人間の誤ったモデルを導く危険性はあるのか? コンピューターが悪用される危険性はあるのか? 人間レベルの人工知能は実現可能か? 達成できるとすれば、 それはどのような動機づけの特性を持つのか? 人工知能の実現は、 人類にとって良いことなのか悪いことなのか?

1. コンピューター・モデルは人間の誤ったモデルにつながるのか?

歴史的に、生命と世界の機械論的モデルは、 アニミズム(精霊信仰)的モデルに従ったものであり、 それに従って神官や医学者は、 精霊がより良い行動をするように誘導することによって、 環境や人間の不具合を修正しようとした。 それを機械論的なモデルに置き換えたのが、 シャーマニズムを医学に置き換えたのである。 ロザックは、より「人間的」だと思うからこそ、 これらのモデルを復活させたいと考えているのだが、 世界はそのように構築されていないため、 それが機能しないという悲しい事実を無視している。 私の考えでは、 コンピューター以前の心の機械論的モデルは成功しなかった。 しかし、 心のプロセスの計算モデルを追求する心理学者たちは、 いずれ本当に有益な精神医学を開発するかもしれないと思う。

哲学的・道徳的思考は、 人間の信念や目的を物理的世界ともっともらしく結びつける人間モデルをまだ見つけられていない。 失敗した試みの中には、 より機械論的なものもあった。 機械論的モデルも非機械論的モデルも、 政治的イデオロギーの基礎となった場合には大きな弊害をもたらした。 私の考えでは、 信念、目的、欲求と物理的世界との関係は、 複雑ではあるが最終的には解決可能な問題である。 コンピューターモデルはその解決に役立つし、 誤った解決策を否定する基準を提供することもできる。 今のところは後者の方が重要であり、 コンピュータモデルはすでにソ連における弁証法唯物論の崩壊を早めている。

2. コンピューターが悪用される危険性は?

これまで、コンピューターは単なる省力化技術に過ぎなかった。 ワイゼンバウムが、 コンピューターがなければ我々の社会はペーパーワークで溢れかえっていた という主張を受け入れることには賛成できない。 コンピューターがなければ、 人々は少し一生懸命働き、 その仕事に対する報酬は少し減るだろう。 しかし、家庭用端末が利用できるようになれば、 電話や自動車がもたらしたような大きな社会変化が起こるだろう。 自動車や電話がもたらした変化と同様に。 専制政治は、 専制的なイデオロギーに率いられた 警察のクーデターをコントロールすることから生まれる。 データバンクがないために倒された独裁政権はまだない。

テクノロジーが将来うまくいくかどうかの予想は、 それが過去にどのようにうまくいったかという見方と相関している。 私は、例えば自動車は間違いではなかったと思うし、 将来についても楽観的である。 現在のイデオロギーの多くは、 旧来の反科学的・反技術的見解と、 恐怖や罪悪感を煽り、 操作する政治技術の新たな発展が組み合わさったものだと感じている。

3. 人工知能はどのような動機を持つのか?

人工知能は、 私たちが人工知能に与えることを選んだ動機を持つことになる。 最終的に人工知能を作り上げる者は、 人工知能に質問に答えることだけを動機付けることから始めるべきであり、 起こりうる副作用を無視して、 単に固定した目標を達成する方法ではなく、 代替行動の結果を完全に把握することを求めるセンスを持つべきである。 物理的な状態に敏感に反応し、 目標が移り変わる人間的な動機づけ構造を与えるには、 知的な行動をさせるのに必要な以上の、 意図的な努力が必要になるだろう。

4. 人工知能は善か悪か?

ここでは、人間が持っているのと同じ範囲の知的能力を持つ機械について話している。 というのも、次世代のコンピューター、 あるいはコンピューター同士をつなげることで、 人間の知能に質的に似た知能が生まれるかもしれないが、 そのスピードは何千倍も速くなるかもしれないからだ。 すべての決断に100年の思考を注ぎ込むことができるとしたら、 それはどのようなものだろうか? 質的に優れた答えが得られるかどうかは、 やってみなければわからない。

人間を超えるレベルの人工知能が実現すれば、 人類は驚くほど多様な選択肢を手に入れることになる。 しかし、高度な人工知能の最初の用途のひとつは、 その使用を管理する代替政策の結果を見極めることであることは明らかである。 最も可能性が高いのは、 人間が人工知能を使って自らを変革することだと思うが、 人工知能の特性や使用による影響が明らかになれば、 人工知能を使わないという決断を下すかもしれない。 そうなると、科学は山登りのようなスポーツになってしまう。 要は、定型化された限られた手段を使って、 世界についての事実を発見することになる。 しかし、ひとたび人間が完全なAIという現実に直面すれば、 その後の進化が正しい道筋をたどったかどうかについての ピテカントロプスの意見と同じように、 私たちの意見が彼らにとって重要な意味を持つことになるかもしれない。

5. コンピューターにプログラムすべきでないこととは?

明らかに、やってはいけないことをコンピューターにプログラムしてはいけない。 さらに、自分自身や他人を欺くためにプログラムを使うべきではない。 それを除けば、ワイゼンバウムの例にはどれも説得力がない。 しかし、人間のような動機づけや感情構造を持ち、 人間とは無関係に権利や義務を持つ可能性のあるロボットを作ることの是非は疑問だ。 さらに、訓練者が進化させようとしている知的・動機的構造を理解していない限り、 報酬と罰のプログラムに反応することで知能を進化させる機械を作るのは危険かもしれないと思う。

これらの疑問はすべて、 より広範な議論に値するものであり、 またそうしてきたものである。 しかし私は、今現在の唯一の合理的な政策は、 問題に直面している人々が、 自分たちの最善の利益を、 私たちが今できること以上に理解してくれることを期待することだと思う。 たとえ来年、完全なAIが到着したとしても、これは正しい。 正しい決断を下すには、 まだ遠い事態を考慮するためには 動員できないような激しい努力が必要になる。 大統領候補者たちに、 完全なAIが取るかもしれない各形態について、 それぞれがどうするかテレビで討論してもらうことを想像してみてほしい。


参考文献:

McCulloch, W.S.(1956) Toward some circuitry of ethical robots or an observational science of the genesis of social evaluation in the mind-like behavior of artifacts. Acta Biotheoretica, XI, parts 3/4, 147—156

This review is filed as WEIZEN.REV[PUB,JMC] at SU-AI on the ARPA net. Any comments sent to JMC@ SU-AI will be stored in the directory PUB,JMC also known as McCarthy’s Electric Magazine. The comment files will be designated WEIZEN.1, WEIZEN.2, etc.

John Mccarthy
Artificial Intelligence Laboratory
Stanford, California 94305
September 16, 1976




The following review appeared in Creative Computer and in the SIGART News Letter.

AN UNREASONABLE BOOK

Joseph Weizenbaum,
Computer Power and Human Reason,
W.H. Freeman Co., San Francisco 1975

This moralistic and incoherent book uses computer science and technology as an illustration to support the view promoted by Lewis Mumford, Theodore Roszak, and Jacques Ellul, that science has led to an immoral view of man and the world. I am frightened by its arguments that certain research should not be done if it is based on or might result in an "obscene" picture of the world and man. Worse yet , the book’s notion of "obscenity" is vague enough to admit arbitrary interpretations by activist bureaucrats.

IT’S HARD TO FIGURE OUT WHAT HE REALLY BELIEVES.

Weizenbaum’s style involves making extreme statements which are later qualified by contradictory statements. Therefore, almost any quotation is out of context, making it difficult to summarize his contentions accurately.

The following passages illustrate the difficulty:

“In 1935, Michael Polanyi”, [British chemist and philosopher of science , was told by] “Nicolai Bukharin, one of the leading theoreticians of the Russian Communist party, ... [that] ‘under socialism the conception of science pursued for its own sake would disappear, for the interests of scientists would spontaneously turn to the problems of the current Five Year Plan.’ Polanyi sensed then that ‘the scientific outlook appeared to have produced a mechanical conception of man and history in which there was no place for science itself.’ And further that ‘this conception denied altogether any intrinsic power to thought and thus denied any grounds for claiming freedom of thought!” -- from page 1. Well, that ’s clear enough; Weizenbaum favors freedom of thought and science and is worried about threats to them. But on page 265, we have 

“Scientists who continue to prattle on about ‘knowledge for its own sake’ in order to exploit that slogan for their self—serving ends have detached science and knowledge from any contact with the real world”. Here Weizenbaum seems to be against pure science, i.e. research motivated solely by curiosity. We also have “With few exceptions, there have been no results, from over twenty years of artificial intelligence research, that have found their way into industry generally or into the computer industry in particular.” - page 229 This again suggests that industrial results are necessary to validate science.

“Science promised, man power. But as so often happens when people are seduced by promises of power -- the price actually paid is servitude and impotence”. This is from the book jacket. Presumably the publisher regards it as a good summary of the book’s main point.

“I will, in what follows, try to maintain the position that there is nothing wrong with viewing man as an information processor (or indeed as anything else) nor with attempting to understand him from that perspective, providing, however, that we never act as though any single perspective can comprehend the whole man.” - page 140. We can certainly live with that, but

“Not only has our unbounded feeding on science caused us to become dependent on it, but, as happens with many other drugs taken in increasing dosages, science has been gradually converted into a slow acting poison”. - page 13. These are qualified by

“I argue for the rational use of science and technology , not for its mystification, let alone its abandonment ”, - page 256

In reference to the proposal for a moratorium on certain experiments with recombinant DNA because they might be dangerous, we have “Theirs is certainly a step in the right direction, and their initiative is to be app lauded. Still, one may ask , why do they feel they have to give a reason for what they recommend at all? Is not the overriding obligation on men, including men of science, to exempt life itself from the madness of treating everything as an object, a sufficient reason, and one that does not even have to be spoken? Why does it have to be explained? It would appear that even the noblest acts of the most well—meaning people are poisoned by the corrosive climate of values of our time. ” Is Weizenbaum against all experimental biology or even all experiments with DNA? I would hesitate to conclude so from this quote; he may say the direct opposite somewhere else. Weizenbaum’s goal of getting lines of research abandoned without even having to give a reason seems unlikely to be achieved except in an atmosphere that combines public hysteria and bureaucratic power. This has happened under conditions of religious enthusiasm and in Nazi Germany, in Stalinist Russia and in the China of the “Cultural Revolution”. Most likely it won’t happen in America.

“Those who know who and what they are do not need to ask what they should do.” - page 273. Let me assure the reader that there is nothing in the book that offers any way to interpret this pomposity. I take it as another plea to be free, of the bondage of having to give reasons for his denunciations.

The menace of such grandiloquent precepts is that they require a priesthood to apply them to particular cases, and would be priests quickly crystallize around any potential center of power. A corollary of this is that people can be attacked for what they are rather than for anything specific they have done. The April 1976 issue of Ms. has a poignant illustration of this in an article about “trashing”.

“An individual is dehumanized whenever he is treated as less than a whole person”. — page 266. This is also subject to priestly interpretation as in the encounter group movement.

“The first kind [of computer application] I would call simply obscene. These are ones whose very contemplation ought to give rise to feelings of disgust in every civilized person. The proposal I have mentioned, that an animal’s visual system and brain be coup led to computers, is an example. It represents an attack on life itself. One must wonder what must have happened to the proposers’ perception of life, hence to their perceptions of themselves as part of the continuum of life, that they can even think of such a thing, let alone advocated it”. No argument is offered that might be answered, and no attempt is made to define criteria of acceptability. I think Weizenbaum and the scientists who have praised the book may be surprised at some of the repressive uses to which the book will be put. However, they will be able to point to passages in the book with quite contrary sentiments, so the repression won’t be their fault.

BUT HERE’S A TRY AT SUMMARIZING:

As these inconsistent passages show, it isn’t easy to determine Weizenbaum’s position, but the following seem to be the book’s main points:

  1. Computers cannot be made to reason usefully about human affairs, This is supported by quoting overoptimistic prediction s by computer Scientists and giving examples non—verbal human communication. However, Weizenbaum doesn’t name any specific task that computers cannot carry out, because he wishes “to avoid the unnecessary, interminable, and ultimately sterile exercise of making a catalogue of what computers will and will not be able to do, either here and now or ever”. It is also stated that human and machine reasoning are incomparable and that the sensory experience of a human is essential for human reasoning.

  2. There are tasks that computers should not be programmed to do. Some are tasks Weizenbaum thinks shouldn’t be done at all - mostly for new left reasons. One may quarrel with his politics, and I do, but obviously computers shouldn’t do what shouldn’t be done. However, Weizenbaum also objects to computer hookups to animal brains and computer conducted psychiatric interviews. As to the former, I couldn’t tell whether he is an antivivisectionist, but he seems to have additional reasons for calling them “obscene”. The objection to computers doing psychiatric interviews also has a component beyond the conviction that they would necessarily do it badly. Thus he says, “What can the psychiatrist’s image of his patient be when he sees himself, as a therapist, not as an engaged human being acting as a healer, but as an information processor following rules, etc.?” This seems like the renaissance era religious objections to dissecting the human body that came up when science revived. Even the Popes eventually convinced themselves that regarding the body as a machine for scientific or medical purposes was quite compatible with regarding it as the temple of the soul. Recently they have taken the same view of studying mental mechanisms for scientific or psychiatric purposes.

  3. Science has led people to a wrong view of the world and of life. The view is characterized as mechanistic, and the example of clockwork is given. (It seems strange for a computer scientist to give this example, because the advance of the computer model over older mechanistic models is that computers can and clockwork can’t make decisions.) Apparently analysis of a living system as composed of interacting parts rather than treating it as an unanalyzed whole is bad.

  4. Science is not the sole or even main source of reliable general knowledge. However, he doesn’t propose any other sources of knowledge or say what the limits of scientific know ledge is except to characterize certain thoughts as “obscene”.

  5. Certain people and institutions are attacked . These include the Department of “Defense” (sic), Psychology Today, the New York Times Data Bank , compulsive computer programmers, Kenneth Colby, Marvin Minsky, Roger Schank , Allen Newell , Herbert Simon, J.W. Forrester , Edward Fredkin, B.F. Skinner, Warren McCulloch (until he was old), Laplace and Leibniz.

  6. Certain political and social views are taken for granted. The view that U.S. policy in Vietnam was “murderous” is used to support an attack on “logicality” (as opposed to “rationality”) and the view of science as a “slow actin g poison”. The phrase “It may be that the people ’s cultivated and finally addictive hunger for private automobiles..." (p.30) makes psychological, sociological, political, and technological presumptions all in one phrase. Similarly, “Men could instead choose to have truly safe automobiles, decent television, decent housing for everyone, or comfortable, safe, and widely distributed mass transportation.” presumes wide agreement about what these things are, what is technologically feasible, what the effects of changed policies would be, and what activities aimed at changing people’s taste are permissible for governments.

THE ELIZA EXAMPLE

Perhaps the most interesting part of the book is the account of his own program ELIZA that parodies Rogerian non-directive psychotherapy and his anecdotal account of how some people ascribe intelligence and personality to it. In my opinion, it is quite natural for people who don ’t understand the notion of algorithm to imagine that a computer computes analogously to the way a human reasons. This leads to the idea that accurate computation entails correct reasoning and even to the idea that computer malfunctions are analogous to human neuroses and psychoses. Actually, programming a computer to draw interesting conclusions from premises is very difficult and only limited success has been attained. However, the effect of these natural misconceptions shouldn’t be exaggerated; people readily understand the truth when it is explained, especially when it applies to a matter that concerns them. In particular, when an executive excuses a mistake by saying that he placed excessive faith in a computer, a certain skepticism is called for.

Colby’s (1973) study is interesting in this connection, but the interpretation below is mine. Colby had psychiatrists interview patients over a teletype line and also had them interview his PARRY program that simulates a paranoid. Other psychiatrists were asked to decide from the transcripts whether the interview was with a man or with a program , and they did no better than chance. However, since PARRY is incapable of the simplest causal reasoning, if you ask, “How do you know the people following you are Mafia” and get a reply that they look like Italians, this must be a man not PARRY. Curiously, it is easier to imitate (well enough to fool a psychiatrist) the emotional side of a man than his intellectual side. Probably the subjects expected the machine to have more logical ability, and this expectation contributed to their mistakes. Alas, random selection from the directory of the Association for Computing Machinery did no better.

It seems to me that ELIZA and PARRY show only that people , including psychiatrists, often have to draw conclusions on slight evidence, and are therefore easily fooled. If I am right, two sentences of instruction would allow them to do better.

In his 1966 paper on ELIZA (cited as 1965), Weizenbaum writes, “One goal for an augmented ELIZA program is thus a system which already has access to a store of information about some aspect of the real world and which, by means of conversational interaction with people, can reveal both what it knows, i.e. behave as an information retrieval system, and where its knowledge ends and needs to be augmented. Hopefully the augmentation of its knowledge will also be a direct consequence of its conversational experience. It is precisely the prospect that such a program will converse with many people and learn something from each of them which leads to the hope that it will prove an interesting and even useful conversational partner.” Too bad he didn’t successfully pursue this goal; no-one else has. I think success would have required a better understanding of formalization than is exhibited in the book.

WHAT DOES HE SAY ABOUT COMPUTERS?

While Weizenbaum’s main conclusions concern science in general and are moralistic in character , some of his remarks about computer science and AI are worthy of comment.

  1. He concludes that since a computer cannot have the experience of a man, it cannot understand a man. There are three points to be made in reply. First , humans share each other’s experiences and those of machines or animals only to a limited extent. In particular, men and women have different experiences. Nevertheless, it is common in literature for a good writer to show greater understanding of the experience of the opposite sex than a poorer writer of that sex. Second, the notion of experience is poorly understood; if we understood it better, we could reason about whether a machine could have a simulated or vicarious experience normally confined to humans. Third, what we mean by understanding is poorly understood, so we don’t yet know how to define whether a machine understands something or not.

  2. Like his predecessor critics of artificial intelligence, Taube, Dreyfus and Lighthill, Weizenbaum is impatient, implying that if the problem hasn’t been solved in twenty years, is time to give up. Genetics took about a century to go from Mendel to the genetic code for proteins, and still has a long way to go before we will fully understand the genetics and evolution of intelligence and behavior. Artificial intelligence may be just as difficult. My current answer to the question of when machines will reach human—level intelligence is that a precise calculation shows that we are between 1.7 and 3.1 Einsteins and .3 Manhattan Projects away from the goal. However, the current research is producing the information on which the Einstein will base himself and is producing useful capabilities all the time.

  3. The book confuses computer simulation of a phenomenon with its formalization in logic. A simulation is only one kind of formalization and not often the most useful — even to a computer. In the first place, logical and mathematical formalizations can use partial information about a system insufficient for a simulation. Thus the law of conservation of energy tells us much about possible energy conversion systems before we define even one of them. Even when a simulation program is available, other formalizations are necessary even to make good use of the simulation. This review isn’t the place for a full explanation of the relations between these concepts.

Like Punch’s famous curate’s egg, the book is good in parts. Thus it raises the following interesting issues:

  1. What would it mean for a computer to hope or be desperate for love? Answers to these questions depend on being able to formalize (not simulate) the phenomena in question. My guess is that adding a notion of hope to an axiomatization of belief and wanting might not be difficult. The study of proposition al attitudes in philosophical logic points in that direction.

  2. Do differences in experience make human and machine intelligence necessarily so different that it is meaningless to ask whether a machine can be more intelligent than a machine? My opinion is that comparison will turn out to be meaningful. After all, most people have not doubt that humans are more intelligent than turkeys. Weizenbaum’s examples of the dependence of human intelligence on sensory abilities seem even refutable, because we recognize no fundamental difference in humanness in people who are severely handicapped sensorily, e.g. the deaf, dumb and blind or paraplegics.

IN DEFENSE OF THE UNJUSTLY ATTACKED -- SOME OF WHOM ARE INNOCENT

Here are defenses of Weizenbaum’s targets. They are not guaranteed to entirely suit the defendees.

Weizenbaum’s conjecture that the Defense Department supports speech recognition research in order to be able to snoop on telephone conversations is biased, baseless, false, and seems motivated by political malice. The committee of scientists that proposed the project advanced quite different considerations, and the high officials who made the final decisions are not ogres. Anyway their other responsibilities leave them no time for complicated and devious considerations. I put this one first, because I think the failure of many scientists to defend the Defense Department against attacks they know are unjustified, is unjust in itself, and furthermore has harmed the country.

Weizenbaum doubts that computer speech recognition will have cost—effective applications beyond snoop ing on phone conversations. He also says, “There is no question in my mind that there is no pressing human problem that will be more easily solved because such machines exist”, I worry more about whether the programs can be made to work before the sponsor loses patience. Once they work ,costs will come down. Winograd pointed out to me that many possible household applications of computers may not be feasible without some computer speech recognition. One needs to think both about how to solve recognized problems and about opportunities to put new technological possibilities to good use. The telephone was not invented by a committee considering already identified problems of communication.

Referring to Psychology Today as a cafeteria simply excites the snobbery of those who would like to consider their psychological knowledge to be above the popular level. So far as I know, professional and academic psychologists welcome the opportunity offered by Psychology Today to explain their ideas to a wide public. They might even buy a cut-down version of Weizenbaum’s book if he asks them nicely. Hmm , they might even buy this review.

Weizenbaum has invented a New York Times Data Bank different from the one operated by the New York Times - and possibly better. The real one stores abstracts written by humans and doesn’t use the tapes intended for typesetting machines. As a result the user has access only to abstracts and cannot search on features of the stories themselves, i.e. he is at the mercy of what the abstractors thought was important at the time.

Using computer programs as psychotherapists, as Colby proposed, would be moral if it would cure people. Unfortunately, computer science isn’t up to it, and maybe the psychiatrists aren’t either.

I agree with Minsky in criticizing the reluctance of art theorists to develop formal theories. George Birkhoff’s formal theory was probably wrong, but he shouldn’t have been criticized for trying. The problem seems very difficult to me, and I have made no significant progress in responding to a challenge from Arthur Koestler to tell how a computer program might make or even recognize jokes. Perhaps some reader of this review might have more success.

There is a whole chapter attacking “compulsive computer programmers” or “hackers”. This mythical beast lives in the computer laboratory, is an ex pert on all the ins and outs of the timesharing system, elaborates the time—sharing system with arcane features that he never documents, and is always changing the system before he even fixes the bugs in the previous version. All these vices exist, but I can ’t think of any individual who combines them, and people generally outgrow them. As a laboratory director, I have to protect the interests of people who program only part time against tendencies to over—complicate the facilities. People who spend all their time programming and who exchange information by word of mouth sometimes have to be pressed to make proper writeups. The other side of the issue is that we professors of computer science sometimes lose our ability to write actual computer programs through lack of practice and envy younger people who can spend full time in the laboratory. The phenomenon is well known in other sciences and in other human activities.

Weizenbaum attacks the Yale computer linguist, Roger Schank, as follows -- the inner quotes are from Schank: “What is contributed when it is asserted that ‘there exists a conceptual base that is interlingual, onto which linguistic structures in a given language map during the understanding process and out of which such structures are created during generation [of linguistic utterances]? Nothing at all. For the term ‘conceptual base’ could perfectly well be replaced by the word ‘something’. And who could argue with that so—transformed statement?” Weizenbaum goes on to say that the real scientific problem “remains as untouched as ever”. On the next page he says that unless the “Schank—like scheme” understood the sentence “Will you come to dinner with me this evening ?” to mean “a shy young man’s desperate longing for love, then the sense in which the system “understands” is “about as weak as the sense in which ELIZA “understood"”. This good example raises interesting issues and seems to call for some distinctions. Full understanding of the sentence indeed results in knowing about the young man’s desire for love, but it would seem that there is a useful lesser level of understanding in which the machine would know only that he would like her to come to dinner.

Contrast Weizenbaum’s demanding, more—human-than-thou attitude to Schank and Winograd with his respectful and even obsequious attitude to Chomsky. We have “The linguist’s first task is therefore to write grammars, that is, sets of rules, of particular languages, grammars capable of characterizing all and only the grammatically admissible sentences of those languages, and then to postulate principles from which crucial features of all such grammars can be deduced. That set of principles would then constitute a universal grammar. Chomsky’s hypothesis is, to put it another way, that the rules of such a universal grammar would constitute a kind of projective description of important aspects of the human mind.” There is nothing here demanding that the universal grammar take into account the young man’s desire for love. As far as I can see, Chomsky is just as much a rationalist as we artificial intelligentsia.

Chomsky’s goal of a universal grammar and Schank’s goal of a conceptual base are similar, except that Schank’s ideas are further developed, and the performance of his students’ programs can be compared with reality. I think they will require drastic revision and may not be on the right track at all, but then I am pursuing a rather different line of research concerning how to represent the basic facts that an intelligent being must know about the world. My idea is to start from epistemology rather than from language, regarding their linguistic representation as secondary. This approach has proved difficult, has attracted few practitioners, and has led to few computer programs, but I still think it’s right.

Weizenbaum approves of the Chomsky school’s haughty attitude towards Schank, Winograd and other AI based language researchers. On page 184, he states, “many linguists, for example, Noam Chomsky, believe that enough thinking about language remains to be done to occupy them usefully for yet a little while, and that any effort to convert their present theories into computer models would, if attempted by the people best qualified, be a diversion from the main task. And they rightly see no point to spending any of their energies studying the work of the hackers.”

This brings the chapter on “compulsive computer programmers” alias “hackers” into a sharper focus. Chomsky’s latest book Reflections on Language makes no reference to the work of Winograd, Schank, Charniak, Wilks, Bobrow or William Woods to name only a few of those who have developed large computer systems that work with natural language and who write papers on the semantics of natural language. The actual young computer programmers who call themselves hackers and who come closest to meeting Weizenbaum’s description don’t write papers on natural language. So it seems that the hackers whose work need not be studied are Winograd, Schank, et.al. who are professors and senior scientists. The Chomsky school may be embarassed by the fact that it has only recently arrived at the conclusion that the semantics of natural language is more fundamental than its syntax, while AI based researchers have been pursuing this line for fifteen years.

The outside observer should be aware that to some extent this is a pillow fight within M.I.T. Chomsky and Halle are not to be dislodged from M.I.T. and neither is Minsky - whose students have pioneered the AI approach to natural language. Schank is quite secure at Yale. Weizenbaum also has tenure. However, some assistant professorships in linguistics may be at stake, especially at M.I.T.

Allen Newell and Herbert Simon are criticized for being overoptimistic and are considered morally defective for attempting to describe humans as difference-reducing machines. Simon’s view that the human is a simple system in a complex environment is singled out for attack. In my opinion, they were overoptimistic, because their GPS model on which they put their bets wasn’t good enough. Maybe Newell’s current production system models will work out better. As to whether human mental structure will eventually turn out to be simple, I vacillate but incline to the view that it will turn out to be one of the most complex biological phenomena.

I regard Forrester’s models as incapable of taking into account qualitative changes, and the world models they have built as defective even in their own terms, because they leave out saturation—of—demand effects that cannot be discovered by curve-fitting as long as a system is rate—of—expansion limited. Moreover, I don’t accept his claim that his models are better suited than the unaided mind in “interpreting how social systems behave”, but Weizenbaum’s sarcasm on page 246 is unconvincing. He quotes Forrester, “[desirable modes of behavior of the social system] seem to be possible only if we have a good understanding of the system dynamics and are willing to endure the self—discipline and pressures that must accompany the desirable mode”. Weizenbaum comments, “There is undoubtedly some interpretation of the words ‘system’ and ‘dynamics’ which would lend a benign meaning to this observation”. Sorry, but it looks ok to me provided one is suitably critical of Forrester’s proposed social goals and the possibility of making the necessary assumptions and putting them into his models.

Skinner’s behaviorism that refuses to assign reality to people’s internal state seems wrong to me, but we can’t call him immoral for trying to convince us of what he thinks is true.

Weizenbaum quotes Edward Fredkin, former director of Project MAC, and the late Warren McCulloch of M.I.T. without giving their names. pp. 241 and 240. Perhaps he thinks a few puzzles will make the book more interesting, and this is so. Fredkin’s plea for research in automatic programming seems to overestimate the extent to which our society currently relies on computers for decisions. It also overestimates the ability of the faculty of a particular university to control the uses to which technology will be put, and it underestimates the difficulty of making knowledge based systems of practical use. Weizenbaum is correct in pointing out that Fredkin doesn’t mention the existence of genuine conflicts in society, but only the new left sloganeeririg elsewhere in the book gives a hint as to what he thinks they are and how he proposes to resolve them.

As for the quotation from (McCulloth 1956), Minsky tells me “this is a brave attempt to find a dignified sense of freedom within the psychological determinism morass”. Probably this can be done better now, but Weizenbaum wrongly implies that McCulloch’s 1956 effort is to his moral discredit.

Finally, Weizenbaum attributes to me two statements -- both from oral presentations which I cannot verify. One of them is “The only reason we have not yet succeeded in simulating every aspect of the real world is that we have been lacking a sufficiently powerful logical calculus. I am working on that problem”. This statement doesn’t express my present opinion or my opinion in 1973 when I am alleged to have expressed it in a debate, and no—one has been able to find it in the video—tape of the debate.

We can’t simulate “every aspect of the real world”, because the initial state information is available, the laws of motion are imperfectly known, and the calculations for a simulation are too extensive. Moreover, simulation wouldn’t necessarily answer our questions. Instead, we must find out how to represent in the memory of a computer the information about the real world that is actually available to a machine or organism with given sensory capability, and also how to represent a means of drawing those useful conclusions about the effects of courses of action that can be correctly inferred from the attainable information. Having a sufficiently powerful logical calculus is an important part of this problem -- but one of the easier parts.

[Note added September 1976 -- This statement has been quoted in a large fraction of the reviews of Weizenbaum’s book (e.g. in Datamation and Nature) as an example of the arrogance of the “artificial intelligentsia”. Weizenbaum firmly insisted that he heard it in the Lighthill debate arid cited his notes as corroboration, but later admitted (in Datamiation) after reviewing the tape that he didn’t, but claimed I must have said it in some other debate. I am confident I didn’t say it, because it contradicts views I have held and repeatedly stated since 1959. My present conjecture is that Weizenbaum heard me say something on the importance of formalization, couldn’t quite remember what, and quoted “what McCarthy must have said” based on his own misunderstanding of the relation between computer modeling and formalization. (His two chapters on computers show no awareness of the difference between declarative and procedural knowledge or of the discussions in the AI literature of their respective roles). Needless to say, the repeated citation by reviewers of a pompous statement that I never made and which is in opposition to the view that I think represents my major contribution to AI is very offensive].

The second quotation from me is the rhetorical question, “What do judges know that we cannot tell a computer”. I’ll stand on that if we make it “eventually tell” and especially if we require that it be something that one human can reliably teach another.

A SUMMARY OF POLEMICAL SINS

The speculative sections of the book contain numerous dubious little theories, such as this one about the dehumanizing effect of of the invention of the clock: “The clock had created literally a new reality; and that is what I meant when I said earlier that the trick man turned that prepared the scene f or the rise of modern science was nothing less than the transformation of nature and of his perception of reality. It is important to realize that this newly created reality was and remains an impoverished version of the older one, for it rests on a rejection of those direct experiences that formed the basis for, and indeed constituted the old reality. The feeling of hunger was rejected as a stimulus for eating; instead one ate when an abstract model had achieved a certain state, i.e. when the hand of a clock pointed to certain marks on the clock’s face (the anthropomorphism here is highly significant too), and similarly for signals for sleep and rising, and so on.”

This idealization of primitive life is simply thoughtless. Like modern man, primitive man ate when the food was ready, and primitive man probably had to start preparing it even further in advance. Like modern man, primitive man lived in families whose members are no more likely to become hungry all at once than are the members of a present family.

I get the feeling that in toppling this microtheory I am not playing the game; the theory is intended only to provide an atmosphere, and like the reader of a novel, I am supposed to suspend disbelief. But the contention that science has driven us from a psychological Garden of Eden depends heavily on such word pictures.

By the way, I recall from my last sabbatical at M.I.T. that the feeling of hunger is more of ten the direct social stimulus for eating for the “hackers” deplored in Chapter 4 than it could have been for primitive man. Often on a crisp New England night, even as the clock strikes three, I hear them call to one another, messages flash on the screens, a flock of hackers magically gathers, and the whole picturesque assembly rushes chattering off to Chinatown.

I find the book substandard as a piece of polemical writing in the following respects:

  1. The author has failed to work out his own positions on the issues he discusses. Making an extreme statement in one place and a contradictory statement in another is rio substitute for trying to take all the factors into account and reach a considered position. Unsuspicious readers can come away with a great variety of views, and the book can be used to support contradictory positions.

  2. The computer linguists -- Winograd, Schank, et.al. -- are denigrated as hackers and compulsive computer programmers by innuendo.

  3. One would like to know more precisely what biological and psychological experiments and computer applications he finds acceptable. Reviewers have already drawn a variety of conclusions on this point.

  4. The terms “authentic”, “obscene”, and “dehumanization" are used as clubs. This is what mathematicians call “proof by intimidation”.

  5. The book encourages a snobbery that has no need to argue for its point of view but merely utters code words, on hearing which the audience is supposed applaud or hiss as the case may be. The New Scientist reviewer certainly salivates in most of the intended places.

  6. Finally, when moralizing is both vehement and vague, it invites authoritarian abuse either by existing authority or by new political movements. Imagine, if you can, that this book were the bible of some bureaucracy, e.g. an Office of Technology Assessment, that acquired power over the computing or scientific activities of a university, state, or country. Suppose Weizenbaum’s slogans were combined with the bureaucratic ethic that holds that any problem can be solved by a law forbidding something and a bureaucracy of eager young lawyers to enforce it. Postulate further a vague Humane Research Act and a “public interest” organization with more eager young lawyers suing to get judges to legislate new interpretations of the Act. One can see a laboratory needing more lawyers than scientists and a Humane Research Administrator capable of forbidding or requiring almost anything.

I see no evidence that Weizenbaum forsees his work being used in this way; he doesn’t use the phrase laissez innover which is the would—be science bureaucrat’s analogue of the economist’s laissez faire, and he never uses the indefinite phrase “it should be decided” which is a common expression of the bureaucratic ethic. However, he has certainly given his fellow computer scientists at least some reason to worry about potential tyranny.

Let me conclude this section with a quotation from Andrew D. White, the first president of Cornell University, that seems applicable to the present situation - not only in computer science, but also in biology-. “In all modern history, interference with science in the supposed interest of religion, no matter how conscientious such interference may have been, has resulted in the direst evils both to religion and to science, and invariably; and, on the other hand, all untrammelled scientific investigation, no matter how dangerous to religion some of its stages my have seemed for the time to be, has invariably resulted in the highest good both of religion and of science”. Substitute morality for religion and the parallel is clear. Frankly, the feebleness of the reaction to attacks on scientific freedom worries me more than the strength of the attacks.

WHAT WORRIES ABOUT COMPUTERS ARE WARRANTED?

Grumbling about Weizenbaum’s mistakes and moralizing is not enough. Genuine worries prompted the book, and many people share them. Here are the genuine concerns that I can identify and the opinions of one computer scientist about their resolution: What is the danger that the computer will lead to a false model of man? What is the danger that computers will be misused? Can human— level artificial intelligence be achieved? What, if any, motivational characteristics will it have? Would the achievement of artificial intelligence be good or bad for humanity?

  1. Does the computer model lead to a false model of man. Historically, the mechanistic model of the life and the world followed animistic models in accordance with which, priests and medicine men tried to correct malfunctions of the environment and man by inducing spirits to behave better. Replacing them by mechanistic models replaced shamanism by medicine. Roszak explicitly would like to bring these models back, because he finds them more “human”, but he ignores the sad fact that they don’t work, because the world isn’t constructed that way. The pre-computer mechanistic models of the mind were, in my opinion. unsuccessful, but I think the psychologists pursuing computational models of mental processes may eventually develop a really beneficial psychiatry.

    Philosophical and moral thinking hasn’t yet found a model of man that relates human beliefs and purposes to the physical world in a plausible way. Some of the unsuccessful attempts have been more mechanistic than others. Both mechanistic and non—mechanistic models have led to great harm when made the basis of political ideology, because they have allowed tortuous reasoning to justify actions that simple human intuition regards as immoral. In my opinion, the relation between beliefs, purposes and wants to the physical world is a complicated but ultimately solvable problem. Computer models can help solve it, and can provide criteria that will enable us to reject false solutions. The latter is more important for now, and computer models are already hastening the decay of dialectical materialism in the Soviet Union.

  2. What is the danger that computers will be misused? Up to now, computers have been just another labor-saving technology. I don’t agree with Weizenbaum’s acceptance of the claim that our society would have been inundated by paper work without computers. Without computers, people would work a little harder and get a little less for their work. However, when home terminals become available, social changes of the magnitude of those produced by the telephone and automobile will occur. I have discussed them elsewhere, and I think they will be good - as were the changes produced by the automobile and the telephone. Tyranny comes from control of the police coup led with a tyrannical ideology; data banks will be a minor convenience. No dictatorship yet has been overthrown for lack of a data bank.

    One’s estimate of whether technology will work out well in the future is correlated with one’s view of how it worked out in the past. I think it has worked out well e.g. cars were not a mistake and am optimistic about the future. I feel that much current ideology is a combination of older anti—scientific and anti—technological views with new developments in the political technology of instigating and manipulating fears and guilt feelings.

  3. What motivations will artificial intelligence have?
    It will have what motivations we choose to give it. Those who finally create it should start by motivating it only to answer questions and should have the sense to ask for full pictures of the consequences of alternate actions rather than simply how to achieve a fixed goal, ignoring possible side—effects. Giving it human motivational structure with its shifting goals sensitive to physical state would require a deliberate effort beyond that required to make it behave intelligently.

  4. Will artificial intelligence be good or bad?
    Here we are talking about machines with the same range of intellectual abilities as are posessed by humans. However, the science fiction vision of robots with almost precisely the ability of a human is quite unlikely, because the next generation of computers or even hooking computers together would produce an intelligence that might be qualitatively like that of a human, but thousands of times faster. What would it be like to be able to put a hundred years thought into every decision? I think it is impossible to say whether qualitatively better answers would be obtained ; we will have to try it and see.

    The achievement of above—human—level artificial intelligence will open to humanity an incredible variety of options. We cannot now fully envisage what these options will be, but it seems apparent that one of the first uses of high—level artificial intelligence will be to determine the consequences of alternate policies governing its use. I think the most likely variant is that man will use artificial intelligence to transform himself, but once its properties and the conequences of its use are known, we may decide not to use it. Science would then be a sport like mountain climbing; the point would be to discover the facts about the world using some stylized limited means. I wouldn’t like that, but once man is confronted by the actuality of full AI. they may find our opinion as relevant to them as we would find the opinion of Pithecanthropus about whether subsequent evolution took the right course.

  5. What shouldn’t computers be programmed to do.
    Obviously one shouldn’t program computers to do things that shouldn’t be done. Moreover, we shouldn’t use programs to mislead ourselves or other people. Apart from that, I find none of Weizenbaum’s examples convincing. However, I doubt the advisability of making robots with human-like motivational and emotional structures that might have rights and duties independently of humans. Moreover, I think it might be dangerous to make a machine that evolved intelligence by responding to a program of rewards and punishments unless its trainers understand the intellectual and motivational structure being evolved.

    All these questions merit and have received more extensive discussion, but I think the only rational policy now is to expect the people confronted by the problem to understand their best interests better than we now can. Even if full AI were to arrive next year, this would be right. Correct decisions will require an intense effort that cannot be mobilized to consider an eventuality that is still remote. Imagine asking the presidential candidates to debate on TV what each of them would do aboux each of the forms that full AI might take.

References:

McCulloch, W.S.(1956) Toward some circuitry of ethical robots or an observational science of the genesis of social evaluation in the mind-like behavior of artifacts. Acta Biotheoretica, XI, parts 3/4, 147—156

This review is filed as WEIZEN.REV[PUB,JMC] at SU-AI on the ARPA net. Any comments sent to JMC@ SU-AI will be stored in the directory PUB,JMC also known as McCarthy’s Electric Magazine. The comment files will be designated WEIZEN.1, WEIZEN.2, etc.

--

John Mccarthy
Artificial Intelligence Laboratory
Stanford, California 94305
September 16, 1976

AIM-291-Weizenbaum: A RESPONSE TO JOHN McCARTHY

以下は DARPA が 1970 年代に記録したドキュメント Three Reviews of J. Weizenbaum's COMPUTER POWER AND HUMAN REASON に収録されている4番目のメモランダムです。

このドキュメントには Joseph Weizenbaum の著書 Computer Power and Human Reason に対する3編の書評が収録されてますが、 最後の John McCarthy の書評 AN UNREASONABLE BOOK に対する著者 Joseph Weizenbaum の反論を語ったメモランダム全文を日本語訳とともに掲載してます。

McCarthy が指摘した論点に対して Weizenbaum は非常に明確な回答をしていますが、 その内容は幼少期にナチスユダヤ人迫害を実体験をした Weizenbaum ならではの時代を超越した迫力があります。 情報倫理 の歴史的な資料としても重要だと思いますので お時間があれば是非目を通してもらえると良いかと思います。


ジョン・マッカーシーへの返答

ジョセフ・ワイゼンバウム


ジョン・マッカーシーによる『コンピューターパワーと人間の理性』の書評の良し悪しはともかく、 ブームで取られた立場が「新左翼」の政治イデオロギーに由来するという彼の度重なる主張によって、 その良さは台無しになっている。 少し前までは、「ピンコ(pinko)」や「コミー(commie)」という用語が、 マッカーシー氏の書評で「新左翼」に割り当てられた機能を果たしていた。 ジョン・マッカーシーが彼の批評で見せたような歴史観の乏しい人々でさえ、 米国が通過したばかりの悲劇的な数十年の出来事から何かを学んだかもしれない。 この展示がなければ、学術的な議論に参加するすべての人が、 無関係な政治的関連性による議論を放棄しているものと思っていただろう。

マッカーシーが "外部の観察者 "に警告している、 この本がMIT内部で起こっている学位や終身在職権の決定などをめぐる闘争に突き動かされているというのは、 奇妙でばかげた話である。これは、この書評とその著者に対する新たな汚点である。 このような戦術は単に下品なだけである。

私は、ジョン・マッカーシーが私の本の "要点 "を誤解していることに心を痛めている。 この本の実際の要点は、要点が1つである限りにおいて、 それがコンピュータの比喩であれ、科学であれ、宗教であれ、 政治的教義であれ、何であれ、世界を見る単一の方法だけでは、 人間の理解する可能性に値する世界の理解を得るには十分ではないということである。


マッカーシーは、この本が次のような主な点を指摘していると見ている:

1. コンピュータは人間ほど強力に思考することはできない。

私は「......少なくとも原理的には、[コンピュータが]達成できる知性の程度に上限を設定する方法はを見いだせない」と書いた(p.210)その後、私はコンピュータの社会化、つまり、世界との経験からの知識の獲得が、人間の社会化と必然的に異なる必要があると主張した。そのため、コンピュータの知性は、ある種の人間の事柄に関して常に人間の知性とは異なるはずである。(p.213)私は決してコンピュータの「推論力」を制限してはいない。全体的には、根拠(reason)と権威(power)との独断的な結びつきに対して攻撃しているのである。この結びつきは時代精神の一部であるため、一途な技術愛好家たちは(コンピュータであろうとなかろうと)権威の問題に焦点を当てないで、根拠について議論するとは考えられないのである。マッカーシーが彼自身の関心事を無闇に私に投影し、それを私の「要点」として帰属させていることが、そのさらなる証拠である。


2. コンピューターにプログラムさせるべきではない仕事がある。

そう、それは純粋にこの本の主旨である。 そして、マッカーシーの言う通り、 どんな時も行われてはいけないタスクはコンピュータにも行わせてはいけないという点で正しく指摘している。 マッカーシーと私は、特定の状況下で心理療法が実践されるべきだという点で意見が一致している。 私は機械が行う心理療法に反対であり、 マッカーシーには、もしそれが人々を「治療する」ためであれば、 (「新左翼」の動機から生じるもの以外に) 何らかの反対理由があるとは思えないとしている。 前頭葉切除手術(ロボトミー)は、ある種の精神障害を「治す」ことがある。 しかし、その患者にとって、そして私が付け加えたいのは外科医にとって、 どのような代償が伴うのか?ということである。 私は機械が行う心理療法が、 人間文化にとって負担がかかりすぎると考えている。 この信念に異論を唱えることはできるが、 まずそれを理解し、考慮に入れる必要がある。

別のところで私は、 ある個人が一人の人間として扱われない限り、 その個人は人間性を否定されると述べている。 多くの外科医が患者や一般的な人々を いかに非人道的に扱っているかを思い出せば、 そのことが今回の議論と関連していることがわかるだろう。 彼らは長年、患者を主に切ったり縫ったりする対象として見てきた結果、 その患者をただのモノとしか見なくなっている。 多くの外科医は、最終的にはすべての人を、 とりわけ自分自身を、この狭い視野で見るようになる。 似たようなことは他の職業にも当てはまる。 もちろん、私たち全員が、多種多様な状況で接する人々に対して、 臨床的な態度をとることは効果的だし必要である。 外科医は、実際にメスを振るっている間、 患者との間に心理的な距離を置くことができなければ、 実際に生きた肉体の中に入っていくことはできない。 しかし、自分の内なるどこかで、 患者を一人の人間として認識していなければならない。 さらに重要なことは、 患者が自分自身を単なるモノとみなすことを強要されるような、 あるいは単に勧められるような状況に決して陥ってはならないということである。 私が恐れているのは、 コンピューターによる心理療法が、その対象となる患者に、 このような自己イメージを必然的に植えつけてしまうことである。 基本的に、これが私の「それに対する」反対意見なのである。 このようなシステムが「治療」という言葉の合理的な意味において、 つまりその言葉の広範囲な解釈において、 どのように人々を「治療」できるとは私には思えない。


3. 科学は人々を間違った世界観や人生観に導いてきた。

科学が導く人生観に「正しい」も「間違っている」もない。 マッカーシーがここで誤解しているのは、 科学やその他のシステムや思想が、 世界や人生に対する唯一の正当な視点として受け入れられるということは、 世界や人生に対する貧しい見方に導くということだ。


4. 科学は、信頼できる一般的知識の唯一の、あるいは主要な情報源ではない。

マッカーシーは、 自分の子供たちが生物学的に自分の子供たちであるとか、 また彼が自分の母親として知っている人が生物学的な親であるといった知識は、 どの程度信頼性があるものと考えているのだろうか? 科学は彼のこのような知識の源なのだろうか? マッカーシーが大人になってから取った本当に重要な行動のうち、 科学的に検証された知識に基づいているのはどれくらいあっただろうか? 古代人は信頼できる知識を持っていたのだろうか? それとも、私たちが信頼できる知識を持っていたのは、 英国王立協会、あるいはスタンフォードのAI研究所の設立以降だけなのだろうか?


5. 特定の人々や機関が攻撃されている。

私は「悪い」と呼ぶべき人々は非常に少ないと考えているが、 ヒトラーヒムラーがその例だ。 マッカーシーがリストアップしている人たちの中には、 間違っていることも多いし、 特に素人向けに話したり書いたりするときには無責任な行動をとることもあると思う。 この点については、AIコミュニティの内でも広く意見が一致しているようだ。 私は、挙げられた何人かの人々が表明している見解は危険だと思う。 このような意見は抑圧されるのではなく、議論されるべきだ。 私の本は、必要な議論に貢献するものだ。 私の見解が間違っていると思う人もいるだろうし、 おそらく危険だと思う人もいるかもしれない。 もし彼らが私の見解を軽蔑以上の価値があると考えるのであれば、議論すべきだ。 マッカーシーは私を「悪者」だと思っているのだろうか? 私はそうは思わない。では彼が言及した人々を、 私は「悪い」と信じなければならないのか?

私の見解では「国防省」は全体的に悪い。 そして、この引用符は、 世界中のほとんどの人々の目、 特にオーウェルを読んだことのある多くの人々の目には、 まったく適切なものであると思う。 もし皇帝が服を着ていないなら、 私たちは彼が服を着ていないと言うべきだ。


その他の発言について:

私は「20年経っても問題が解決しないなら、あきらめるべきだ」 とは言っていないし、そう信じてもいない。私は 「...コンピュータに何ができるかについて、 現在の無知だけを理由に不可能性を論争をするのは...間違っている」(p.198)と言っている。 これは、マッカーシーが彼の発言を非難しているのとは正反対である。

私は「国防総省が電話の会話を盗聴するために音声認識の研究を支援している」 とは言っていないし、仄めかしたりもしていない。 マッカーシーの言葉を借りれば「偏見に満ち、根拠のない、誤った、おそらく悪意に動かされた」ものだ。 私は「このプロジェクトは、その主要なスポンサーの目には、 完全に自動化された戦場に向けた長い一歩だと映っている」 と書いた。そして 「音声認識が実現すれば、政府のような大組織はそれを盗聴などに使うだろう」 という私の意見を述べた。 「NSAは米国から出る事実上すべてのケーブル、テレックス、 その他電話以外の通信を盗聴し、 その内容から情報を選別し得るためにコンピューターを使用している」 という報道 (F.Y.I., August 31 1973) が私の考えを裏付けていると信じている。 この作戦から電話通信が除外されているのは、 自動音声認識システムがあれば取り除ける技術的制限の結果であることは明らかである。

注9、286ページの引用は匿名である。 なぜなら、その人物は、私が彼の名前を引用しないことを条件に、 彼の内部メモからの引用を許可したからである。 私に約束違反を迫る ジョン・マッカーシーもいい迷惑である。

私は「原始的なナンの生活を理想化」しているわけではない。 人間がテクノロジーに傾倒することで生じる損失(確かに損失はあったし、今もある)に言及する者を、 テクノロジー以前の時代への回帰を提唱していると非難するのは、 テクノロジー愛好家がよくやる安っぽいやり方だ。 私が知る限り、現代の作家は皆、 人間の歴史にテクノロジー以前の時代が存在したはずがないこと、 そしてその歴史を覆すことはできないことを知っている。 しかし、現在のテクノロジーへの傾倒に伴うコストを認識し、理解すること、 そして、あまりにも近いと思われるコストを削減する方法を模索することは重要である。 そこに反テクノロジー的、反科学的、反知性的なものはない。

マッカーシーは、私の 「自分が誰であり、何であるかを知っている人は、自分が何をすべきかを尋ねる必要はない」 という発言が「脅迫的」であると指摘し、 特定のケースに適用するためには神権が必要だと考えている。 この発言は、私が 「人々は常に自分が何をすべきか専門家に尋ねている」 という事実を示唆した文脈(p.273)で出てくる。 私は、人々が道徳的な質問について「専門家」の指導を必要とするとは思わない。 この発言自体は、 人々に何をすべきかを伝えるためには神官階級が必要ないことを主張していて、 マッカーシーの正反対の分析には非常に驚いている。

私の主張である 「個人が一人の人間として扱われない限り、非人間化される」 はあくまでも事実を述べたものである。 マッカーシーが「エンカウンター・グループのムーブメント」の カテキズム の一部であると同じような発言を信じているからと言って、 私に恥ずかしいとか罪悪感を感じることは理解できない。 ちなみに、私はこの種の話題には、 ほとんど知識がないことを言い添えておく。

ジョン・マッカーシーには、ニューレフトやエンカウンター・グループ・ムーブメント、 あるいはナンフォード、ロザック、アリュールが抱くいかなる考えも間違いであり、 脅威であること、そして「誰もがすぐに潜在的な中心や権力の周りに結晶化する神官」 の一部として使用されることを証明する論理的な説明があるのだろうか? (ここでもまた、マッカーシーの権力への偏執の証拠が見られる)

最後に、マッカーシーは 「哲学的・道徳的思考は、人間の信念を物理的世界ともっともらしく関連づける人間のモデルを発見したことがない」 と断言する。 哲学と道徳の文献をすべてマスターした者だけが、そのようなことを言う権威を持ちうるのだ。 まさに神のような謙虚さである! ジョン・マッカーシーとジョセフ・ワイゼンバウムを隔てる距離は、 まさにこの2人が互いに投げかける挑戦によって測られる。 マッカーシーはワイゼンバウムに「科学以外に知識への道を示せ!」と挑発する。 そしてワイゼンバウムは答える。 「哲学的、道徳的思考を含まず、 究極的にはそれに依存しないような、 真の人間モデルへの道があり得るだろうか?」

だから、私たちはお互いを理解し得ないのも無理はない。


A RESPONSE TO JOHN McCARTHY

JOSEPH WEIZENBAUM

Whatever the merit of John McCarthy's review of Computer Power and Human Reason may be, it is all but undone by his repeated assertion that the positions taken in the boom are derived from a "new left" political ideology. Not long ago the terms "pinko" or "commie" serve the function McCarthy assigns to "new left" in his review. I would have thought, but for this exhibit, that even people with as limited a sense of history as John McCarthy displays in his review might have learned something from the events of the tragic decades the United States has just passed through. I would have thought, but for this exhibit, that all participants in scholarly debates had by now renounced argument by irrelevant political association.

McCarthy's warning to "the outside observer" that the book is motivated by a struggle over academic appointments, tenure decisions, etc. going on within M.I.T. is bizarre and absurd. It is another blot on the review and, I would say, on its author. Such tactics are simply indecent.

I am disturbed by John McCarthy's misreading of my book's ”main points." The books actual main point, to the extent that there is one main point, is that no single way of seeing the world, whether it he that of the computer metaphor, of science, of religion, or some political dogma, or of whatever, is sufficient to yield an understanding of the world worthy of the human potential to understand.


McCarthy sees the book making the following main points:

1. COMPUTER CANNOT BE MADE TO RESION AS POWERFULLY AS HUMANS

I wrote: "...I see no way to put a bound on the degree of intelligence [a computer] could, at least in principle, attain." (p.210) I then go on to argue that a computer's socialization, that is, its aquisition of knowledge from its experience with the world, must necessarily be different from the socialization of human beings. computer's intelligence must therefore be always alien to human intelligence with respect to a certain range of human affairs. (p. 213) Nowhere do I limit the computer’s "reasoning power." The whole been is, however, an attack on the dogmatic coupling of reason to power. This coupling is so much part of the Zeitgeist that single-mindedly committed technological enthusiasts simply cannot conceive of a discussion of reason - whether by computers or not - that is not at the same time centered on questions of power. McCarthy's gratuitous projection of his own preoccupations unto me in the form of his attribution to me of this "main point" is further evidence for that.


2. THERE ARE TASKS THAT COMPUTERS SHOULD NOT BE PROGRAMMED TO DO.

Yes, that is genuinely a main point of the book. And McCartny is right in observing that task that should not be done at all should not be done by computers either. McCarthy and I agree that psychotherapy should under some circumstances be practiced. I am opposed to machine administered psychotherapy and McCarthy cannot see what objections there right be to it (other than those that arise from "new left" motivations) if it were to "cure" people. Prefontal lobotomy "cures" certain mental disorders. But at what price to the patient and, I would add, to the surgeon as well? I believe that machine administered psychotherapy would induce an image of what it means to be human that would be prohibitively costly to human culture. One may disagree with this belief. But one would first have to understand it and to take it into account.

Elsewhere I say that an individual is denumanized whenever he treated as less than a whole person. The relevance of that to the present discussion can be seen if one recalls how inhumanely many surgeons treat their patients and people generally. They have, after many years of seeing their patients mainly as objects to be cut and sewed, cone to see then as nothing more than objects. Many surgeons eventually see everyone, most importantly themselves, in this narrow way. Similar remarks apply to other professions. It is of course necessary for all of us to adobt an effectively clinical attitude toward people we deal with in a large variety of situations. The surgeon could not actually out into living flesh were he not able to impose a psychological distance between himself and his patient while actually wielding the scalpel. But somewhere in his inner being he should hold on to his perception of his patient as a whole person. Even more importantly, the patient must never be led into a situation in which he is forced, or even merely encouraged, to regard hisself as a mere object. By fear is that computer administered psychotherapy necessarily induces just this kind or self-image in the patients who would be subject to it. That, basically, is my objection ‘to it. I cannot see how such a system could "cure" people in any reasonable sense of the word "cure", that is, in a sufficiently encompassing interpretation of that word.


3. SCIENCE HAS LED PEUPLE TO A WRONG VIEW OF THE WORLD ANE LIFE.

There is no "correct" or "wrong" view of life to which science or anything else can lead. The point McCarthy here misconstrues is that science, or any other system or thought, leads to an impoverished view of the world and of life when it or any system is taken to be the only legitimate perspective on the world and on life.


4. SCIENCE IS NOT THE SOLE ON EVEN THE MAIN SOURCE OF KNOWLEDGE.

How reliable would McCarthy say is his knowledge that his children are biologically his children or that the person he knows as his Mather is his biological father? Is science his source of such knowledge? what proportion of the truly important actions McCartny has taken in the course of his adult life were predicated solely or even vainly on knowledge he validated by appeals to science? Did the ancients have reliable knowledge? Or have we had reliable knowledqe only since the founding of the Britisn Royal Society - or that of the Stanford AI Lab - or not yet at all?


5. CERTAIN PEOPLE AND INSTITUTIONS ARE BAD.

I know of very few people I would call "bad" - hitler and Himmler are examples. I think some of the people McCarthy lists are often wrong and sometimes behave irresponsibly especially when they speak to and write for lay audiences. There appears to be wide agreement on that within the AI community itself. I think the views expressed by some of the people mentioned are dangerous. These views should be discussed, not suppressed. My book contributes to the required discussion. Some people will surely find my views wrong and perhaps even dangerous. If they think my views worthy of more than contempt, they should discuss them. Does McCarthy think I am "bad?" I don't believe so. why then should he believe I think the people he mentions are bad?

The Department of "Defense" is, in my view, on the whole bad. And the quotation marks are, I would guess, entirely appropriate in the eyes of most of the people of the world -- especially in the eyes of many who have read Orwell. If the emperor wears no clothes, we should say he wears no clothes.


Other remarks:

I do not say and I do not believe that "if the problem hasn't been solved in twenty years, we should give up." I say (p. 198) "... it would be wrong ... to make impossibility arguments about what computers can do entirely on the grounds of our present ignorance." That is quite the Opposite of what McCarthy charges he with saying.

I do not say or imply that "the Defense Department supports speech recognition research in order to be able to snoop on telephone conversations." Attributing this view to me is, in McCarthy's words, "tiased, baseless, false, and [seemingly] motivated by malice." I wrote: "this project then represents, in the eyes of its chief sponsor, a long step toward a fully automated battlefield." I then state my opinion that, should we get speech recognition, large organizations such as the government would use it for snooping, etc. I believe that. my belief is buttressed by the revelations (F.Y.I., August 31 1973) that the "NSA eavesdrops on virtually all cable, Telex and other non-telephone communications leaving the U.S. and uses computers to sort and obtain intelligence from the contents ..." (emphasis nine). Clearly the exelusion of telephone communications from this operation is a consequence of only technical limitations that would be removed if we has automatic speech recognition systems.

The reference cite: in note 9, page 286, is anonymous because the person in question granted we permission to quote from his internal memorandum on the condition that I not cite his name. It is not nice or John McCarthy to press me to violate my word.

I do not "idealize the life of primitive nan." it is a cheap shot often practiced by technological enthusiasts to charge anyone who mentions a loss entailed by man's commitment to technology (and there surely have been and are losses) with advocating a return to pretechnological times. Every modern writer I know of knows that there cannot have been a pretechnological time in the history or what we would call man, and that history cannot be reversed. But it is important that we recognize and understand the costs associated with our current commitment to technology and that we seek for ways to reduce the costs at seem too nigh. There is nothing anti-technological, anti-scientific, or anti-intellectual in that.

McCarthy suggests that my statement "Those who know who and what they are so not need to ask what they should do" is ”menacing" in that he believes it to require a priesthood to apply it to a particular case. The statement appears in a context (p.273) in which I had just alludes to the fact that people are constantly asking exports what they should do. I don't believe people need "expert" guidance on moral questions. The statement, on its very face, argues that no priesthood is ever necessary to tell people what they must do. I find McCarthy's exact opposite analysis extremely puzzling.

My assertion that "An individual is dehumanized whenever he is treated as less than a whole person" is singly a statement of fact. It is incomprehensible to me that shame or guilt tall or me because McCarthy believes similar statements to he part of the catechism at the "encounter group movement," about which, by the way, I know next to nothing.

Does John McCarthy have a logical calculus witain which he has proved that any idea held by the new left or the encounter group movement or by numford, Roszak, or allul is wrong, a menace, and certain to do used as part or the arsenal or "priests who quickly crystallize around any potential center or power?" (here again we see evidence of McCarthy's preoccupation with power.)

Finally, McCarthy asserts "Philosophical and moral thinking has never found a model of man that relates human beliefs to the physical world in a plausible way.” Only someone who has mastered the entire philosophical and moral literature could have the authority to say that. what truly God-like humility! The distance that separates John McCarthy from Joseph Weizenbaum is truly measured by the challenges these two hurl at one another. McCarthy defies Weizenbaum to ”Show me a way to knowledge besides science!" And Weizenbaum responds. “Can there be a way toward an authentic model of man that does not include and ultimately rest on philosophical and moral thinking?"

No wonder we talk past one another.

音声チャットボットを活用した学習支援アプリの開発

Development of learning support application using voice chatbot
2023/08/18
藤田昭人


2023/08/19: 早速、追記しました。


はじめに

  • 本研究は(2021年度実施)昨年度発表した下記の研究の継続
  • AIが図書館司書の業務の「童話の読み聞かせ」を行うと仮定

    • テーマ:聴衆の関心を惹くセリフをAIに教える
      • 対象は幼児から小学校低学年
      • 退屈したり集中できない児童の関心を惹くことが重要
      • 童話の段落ごとに聴衆を喚起する一言を挟んでいく
  • 本年度も新たなテーマで実習授業を準備中

    • テーマ:中学生・高校生向けの四択問題10問を出題するAI



生成系AIのブーム

  • 新たな実習テーマで教材の開発に着手(2022年10月〜)
    • 前々年度、使用した実習教材がベース
    • チャットボットの音声合成部分の実装を追加*1
  • 生成系AIの大ブームが発生(2022月12月〜)
    • Stable Diffusion(2022年8月)
    • ChatGPT(2022年11月)
  • 3月〜5月:プロンプト・エンジニアリングに注目が集まる

生成系AIを応答文生成機能に活用する可能性検討に着手



ChatGPTの問題点 望ましくない応答も生成する

教育現場で生徒や学生に利用させるのはリスクが伴う



ChatGPTの問題点 意味を理解している訳ではない

  • 大規模言語モデル(LLM)
    • 大量のテキストデータを使って事前に学習された自然言語処理のモデル
    • LLMは入力に続く言葉を統計学の手法を使って推論しているだけ
    • 応答文が生成された理由を明確に示すことが困難
  • 専門家以外の反応:AIが質問を理解していると誤解
    • どんな質問にも返答を答えるが、その内容の妥当性は吟味しない
    • 具体的で一般的な質問には相応の(不正確な)返答を返すが
    • そうでない質問にはおかしな返答を返すことが多い
  • LLMのこの振る舞いはライトヒルレポートを彷彿させる
    • 1972年に発表されたAI研究を評価するレポート
      • AI techniques may work within the scope of small problem domains, but the techniques would not scale up well to solve more realistic problems.
      • AI技術は、小さな問題領域の範囲内では機能するかもしれないが、より現実的な問題を解決するためには、その技術はうまくスケールアップしないだろう。
    • 第1次AIブームの終焉のきっかけとなった

AI技術は60年前から格段に進歩したが、社会の反応はあまり変わらない?



ChatGPTの問題点 プライバシーと著作権の問題



検討結果 生成系AIの活用方法

  • 生成系AIは問題領域(用途)を限定すれば有効に見えるが…
    • 妥当性をチェックしないので応答の精度はヒント程度
    • 生成系AIを使うアプリで妥当性の確認をするのはコストが大きい
    • 生成系AIを活用する場合には、処理フローに応答の妥当性を人間が確認するパスを組み入れるべき
  • 実習の「中高生のテスト勉強をアシストするAI」の実現には…
  • 特定の個人にフォーカスした対話の実現
    • 「知識」を学習することを前提とした対話は固有表現に着目すべき
    • 対象「テスト勉強」に限定すれば、テスト問題から抽出できる
    • 任意のテキストから固有表現を抽出する問題は生成系AIが有効






第1次AIブームと現在 歴史的な相似

年号 第1次 年号 第3次
1955   2005 シンギュラリティ
1956 ダートマス会議 2006 ディープラーニング
1966 ELIZA、ALPACレポート 2016  
1967   2017 トランスフォーマ
1968   2018 GPT-1
1969 パーセプトロン批判 2019 GPT-2
1970   2020 GPT-3、Google、AI倫理研究者を解雇
1971   2021  
1972 Mycin(マイシン) 2022 GPT-3.5
1973 ライトヒル・レポート 2023 GPT-4、AI規制論議
1974 DARPACMUのプロジェクトをキャンセル 2024 (さて、何が起こるか?)


用語の解説

<作業中>



2023/08/19 追記

今日、箕原先生からの質問にあったオープンソースの日本語大規模言語モデルの件ですが…

東大の松尾研(機械学習を使ったAI研究で日本国内では有名です)から リリースされた Weblab-10Bオープンソース表記について 早速クレームがついているようです。


どうやら「商用利用不可」との条項が「オープンソースに適合しない」との指摘です。

日本でも生成系AIの制作物に関する著作権問題について ネット上での場外乱闘が始まっているようです。

*1:音声合成部分のみサービスは次のURLで確認できます。
https://tycc-voice-chatbot.glitch.me/
フロントページで「チャットする」をクリックして、 「励まして」と入力してみてください。
iPhoneの場合はSafariで起動してください。