記事:音声業界のプロ46名からの音声AI 2020予測

某所で教えてもらった voicebot.ai の記事 "Voice AI 2020 Predictions from 46 Voice Industry Pros" の全文を「みらい翻訳」で翻訳してみました。 実は、この記事、最初は原文を読んだんですが、案外見直すことが多くて、その都度同じ単語を何度も辞書引きするのが嫌になった次第。

voicebot.ai

あまり想定してないないけど、誰かの役に立つのかしら?


Voice AI 2020 Predictions from 46 Voice Industry Pros

BRET KINSELLA on January 1, 2020 at 2:14 pm



Today we start a new year and a new decade. The past decade has in many ways been about the dominance of mobile followed by the rise of voice assistants. The decade started with the launch of the Siri app in the iOS App Store and concluded with more than three billion voice assistants in use worldwide.

今日、私たちは新しい年と新しい10年を始める。過去10年間は、さまざまな意味で携帯電話の優位性とそれに続く音声アシスタントの台頭に関係していた。この10年は、iOS App StoreでのSiriアプリのローンチから始まり、世界中で30億人以上の音声アシスタントが利用されている。

What is ahead of us for the first year of the second decade of voice assistants? Voicebot reached out to over 40 voice industry professionals to get their predictions for 2020. They range from the rise of sonic branding and new architectures for voice assistants to the increasing importance of hearables and voice in the car. There are also predictions about the first hundred million dollar voice apps.

音声アシスタントが登場してから10年目の最初の年には、何が待ち構えているのだろうか。Voicebotは40人以上の音声業界の専門家に2020年の見通しを聞いた。最初の1億ドルの音声アプリに関する予測もある。

There is a lot of depth in here with so many experts weighing in. So, in the spirit of TLDR, we have included a word cloud of the responses below.

ここには多くの専門家が参加していて、多くの深みがあります。そこで、TLDRの精神に則り、以下のような反応のワードクラウドを含めた。


VOICE STRATEGY PREDICTIONS(音声戦略の予測)


01. DAVID CICARELLI, CEO, VOICES.COM

In 2020 we’ll see more and more brands incorporating sonic branding into their overall marketing strategies, with Alexa Skills and Google Actions becoming more popular. It will be interesting to see how companies will build brand trust with voice technologies that aren’t quite fully trusted yet, and I predict that the use of the human voice will be a big factor in building that trust. Not only is there a preference for human voices in voice technology, but a human voice also increases information retention.

2020年には、より多くのブランドが全体的なマーケティング戦略ソニックブランド化を取り入れ、 「Alexa Skills」 や 「Google Actions」 の人気が高まるだろう。まだ完全には信頼されていない音声技術を使って、企業がどのようにブランドの信頼を築くのかを見るのは興味深いだろうし、私は人間の声を使うことが信頼を築く大きな要因になると予想している。音声技術には人間の声が好まれるだけでなく、人間の声は情報の保持力も高める。

Related reading: Consumers Have 71% Preference for Human Over Robot Voices


02. KATIE MCMAHON, GENERAL MANAGER, SOUNDHOUND

The love affair we have with hardware design will migrate to a love affair of Voice Interface Design. Although I doubt “a Jony Ive of Voice” will emerge within 2020, I predict that by the end of this decade, we will know the names of a few revered VUI designers. It will be those who can design the future by understanding both its current technical limitations and trajectory while harnessing anthropological, sociological, and humanity-first guiding principles.

ハードウェアデザインへの情熱は、ボイスインターフェースデザインへと移っていきます。2020年までに「声のジョニー・アイブ」が登場するかどうかは疑問ですが、次の10年の終わりまでには、尊敬すべきVUIデザイナーの名前がいくつか分かるようになるだろうと私は予測しています。人類学的、社会学的、人間性第一の指針の原則を活用しながら、現在の技術的限界と軌道の両方を理解することによって未来を設計することができる人たちです。

Related reading: Voice UX Best Practices eBook – Over 100 Insights from 17 Experts


03. PETE ERICKSON, CEO, MODEV

There will be more surprising acquisitions in 2020 similar to Apple’s acquisition of Pullstring and as a handful of B2B enabling platforms breakout of the pack. Look to Amazon, Google, Salesforce, Apple, Adobe and others to compete for technology and talent. I think we’ll see a major retailer make a big play in voice in 2020 and I wouldn’t be surprised to see custom naming for devices hit one of the big two (you know who they are) in a future release. And, of course, VOICE Summit will be a blast. 🙂

2020年には、AppleがPullstringを買収したのと同じように、さらに驚くべき買収が行われるだろう。AmazonGoogleSalesforceAppleAdobeをはじめとする企業が、テクノロジと人材をめぐって競争することになる。2020年には大手小売業者が大きな声を出してくるだろうし、将来のリリースでデバイスのカスタムネーミングが二大(あなたは彼らが誰か知っています)のうちの一つになっても驚かないだろう。そしてもちろん、VOICE Summitは楽しいものになるだろう🙂

Related reading: Apple Acquires Pullstring as Voicebot Insider First Reported


04. ROGER KIBBE, SENIOR DEVELOPER EVANGELIST, VIV LABS/SAMSUNG

In 2020, having a voice presence will start to be a strategic and business differentiator for companies. We are moving beyond voice as a side innovation project to it being a first-class citizen on the same level as social, mobile and web. Companies who have or will soon establish a voice presence will start to reap the business benefits over laggards, much like what happened with the web and mobile.

2020年には、企業にとって音声によるプレゼンスの確保が戦略的およびビジネス上の差別化要因となり始める。私たちは、サイド・イノベーション・プロジェクトとしての声を超えて、ソーシャル、モバイル、ウェブと同じレベルの一級市民になろうとしています。音声によるプレゼンスを確立している、あるいは近いうちに確立するであろう企業は、ウェブやモバイルで起きたことと同じように、遅れている企業よりもビジネス上の利益を得始めるだろう。

Related reading: How to Build a Samsung Bixby Capsule


05. JASON FIELDS, CHIEF STRATEGY OFFICER, VOICIFY

It feels like the voice groundswell is approaching land and executives can begin to see the shape of the conversational experience wave. This in concert with other developments like the maturity of voice assistants, the emergence of voice commerce as a real topic, and a growing ecosystem voice solutions and agencies leads me to believe that 2020 is going to see a noticeable increase of formal voice strategy and inclusion in customer journey maps.

声の高まりが陸地に近づいてきているように感じられ、経営陣は会話体験の波の形を見始めることができる。このことは、音声アシスタントの成熟、真のトピックとしての音声コマースの出現、そしてエコシステムの音声ソリューションと代理店の成長といった他の発展とあいまって、2020年には正式な音声戦略と顧客の旅のマップへの包含が顕著に増加すると私は信じている。

Related listening: Jeff McMahon Talks About Voicify and the Martech Stack – Voicebot Podcast Ep 125



VOICE SEARCH AND DISCOVERY PREDICTIONS(音声による検索・発見の予測)


06. BETH STROHBUSCH, SVP STRATEGIC COMMUNICATIONS, ORBITA

A focus on voice search will dominate in 2020. Organizations will seek new opportunities to tap the power of virtual assistants and conversational AI – to help consumers to discover and engage more fully with their brands through next-generation SEO and conversational calls to action.

2020年には、音声検索が主流になると予想される。企業は、仮想アシスタントや会話型AIの能力を活用して、次世代のSEOや会話型アクション・コールを通じて、消費者が自分のブランドを発見し、より深く関与できるよう支援する新たな機会を模索する。

Related reading: New Data on Voice Assistant SEO a Wake-up Call for Brands


07. MARK PHILLIPS, MANAGING PARTNER, SIMPLISPOKEN

Discoverability is the key issue holding the ecosystem back from realizing the potential that voice experiences offer. Even with the encouraging market penetration of voice platforms, consumers are for the most part unaware of what voice can do. I do not believe voice platform vendors, voice experience developers, or businesses can solve this problem in isolation. I predict an independent third party will attack this issue with a platform that brings together consumers, vendors, developers, and businesses to provide shared value and incentives to cross the chasm.

発見可能性は、エコシステムが音声体験が提供する可能性の実現を妨げている重要な問題だ。音声プラットフォームの市場浸透が進んでいるにもかかわらず、消費者はほとんどの場合、音声で何ができるかを知らない。私は、音声プラットフォームベンダー、音声エクスペリエンス開発者、ビジネスがこの問題を単独で解決できるとは考えていない。私の予想では、消費者、ベンダー、開発者、そして企業が協力して、共通の価値とインセンティブを提供して、隔たりを越えるプラットフォームによって、独立した第三者がこの問題に取り組むだろう。

Related reading: 34 Percent of Marketers Expect to Have a Voice App by 2020


08. MARK TUCKER, SENIOR ARCHITECT, SOAR

Key areas of concern for voice apps on assistants are convenience, context, memory, personalization, monetization, retention, and discoverability. With millions of owners of smart speakers, 2020 will be the year that a significant advancement will be made in discoverability and these owners will start consuming these voice apps.

アシスタントにおける音声アプリの主な関心領域は、利便性、コンテキスト、メモリ、パーソナライゼーション、収益化、保持、発見性である。スマートスピーカーの所有者が何百万人もいる中、2020年は発見可能性が大きく進歩し、これらの所有者が音声アプリを使い始める年になるだろう。

Related reading: Alexa Conversations to Make Skill Building Easier and Boost Discovery


09. MATT WARE, HEAD OF OPERATIONS, FIRST

First, the main challenge to 3rd Party developers and also to brands is the challenge of discovery. How do consumers become aware of their Action, Skill, Capsule (or whatever other non-specific name other companies decide to call what is really a voice app)? Until this gets solved and solved consistently, we won’t see mass adoption of the medium by big players.

As much as the onus does sit with these brands to self promote, Google, Amazon and Co need to pick a path and stick with it. Consumers have become used to having the right tool put in front of them at the right time. Implicit Invocation was the obvious path to continue this trend. However, that seems to be getting wound back in favor of “recommendation at signup” or fulfillment of the required task without the user knowing which Skill or Action did the heavy lifting. This year Discovery will be a focus for the ecosystem owners as they try to find a way to achieve the balance between wanting to own the whole user experience 1st Party and needing 3rd Party information and functions to actually deliver the service or item.

Second, Asia pulls away from the US and Europe with Voice. Asia is already seeing explosive growth in Smart Speaker shipments and development across the three main players (Xiaomi, Baidu and Alibaba). Population, funding, acceptance of digital payments and a friendly government environment will see this growth continue along with their dominance. The main battlegrounds will be South East Asia, India, Africa, and Australia. In all of these locations, there is less opposition to Asian technologies and large existing ex-pat Chinese populations happy to bring their preferred assistant of choice with them. While there is still the opportunity for growth in the U.S. and Europe, it’s Asia where there is money to be made.

第一に、サードパーティの開発者やブランドにとっての主な課題は、発見の課題である。消費者はどのようにしてAction, Skill, Capsule(あるいは、他の企業が実際に音声アプリと呼んでいるような、特定されていない名称であれば何でもいい)に気づくのだろうか?この問題が解決され、一貫して解決されるまで、大企業がこのメディアを大量に採用することはないだろう。

自己宣伝する責任がこれらのブランドにあるのと同じように、GoogleAmazon、Co は道を選んでそれを貫く必要がある。消費者は、適切なツールを適切なタイミングで目の前に置くことに慣れてきた。暗黙の呼び出しは、この傾向を継続するための明らかなパスだった。しかし、ユーザーがどのスキルやアクションが重い作業を行ったのかを知らなくても「登録時の推奨事項」や要求されたタスクを実行することができるようになりつつあるようだ。今年の発見は、エコシステムの所有者にとって焦点となるだろう。彼らは、ユーザー体験全体を第一者として所有したいと思うことと、サービスやアイテムを実際に提供するために第三者の情報と機能を必要とすることの間のバランスを達成する方法を見つけようとしている。

第二に、アジアはVoiceによってアメリカとヨーロッパから離れている。アジアではすでにスマートスピーカーの出荷と開発が三大主要メーカー(Xiaomi、Baidu、Alibaba)で爆発的に増加している。人口、資金調達、デジタル決済の受け入れ、そして政府の友好的な環境によって、この成長は彼らの支配とともに続くだろう。主戦場は東南アジア、インド、アフリカ、オーストラリアである。これらのすべての場所で、アジアの技術への反対は少なく、多くの既存の外国人が好みのアシスタントを喜んで連れてくる。米国とヨーロッパには成長の機会がまだあるが、収益が見込めるのはアジアだ。

Related reading: Smart Speaker Sales Rise 35% Globally, 15 Million in China



VOICE ASSISTANT ARCHITECTURE(音声アシスタントのアーキテクチャ


10. TIM MCELREATH, DIRECTOR OF TECHNOLOGY FOR EMERGING PLATFORMS, DISCOVERY, INC.

The “de-app-ification” of Alexa skills and Assistant agents. This year there is going to be a blurring of boundaries between third-party development, content presented in first-party platform templates, cross-linking between smaller related features, and a move toward shared (but extensible) domain language models.

Alexaのスキルとアシスタントエージェントの「脱アプリ化("de-app-ification")」。今年は、サードパーティの開発、ファーストパーティのプラットフォームテンプレートで提供されるコンテンツ、小さな関連機能間のクロスリンク、共有(だが拡張可能)ドメイン言語モデルへの移行の間の境界が曖昧になるだろう。

Related listening: Tim McElreath of Food Network / Discovery Inc Talks Multimodal Design – Voicebot Podcast Ep 28


11. GIULIO CAPERDONI, HEAD OF INNOVATION, VIDEMME

Assistants will move from intent classification and named-entity recognition, which is a manual and rigid process, and they will become more sophisticated, learning from examples and moving past the limitations imposed by mapping every message to one intent. The representation of state and context will be learned from the data itself, letting the users teach the assistants things that were not anticipated and making the assistants able to understand and respond to unexpected inputs.

アシスタントは、インテントによるクラシフィケーションと名前付きエントリの認識という手動の厳格なプロセスから移行します。より洗練されたものになり、例から学び、すべてのメッセージを1つのインテントにマップすることによって課される制限を超えます。状態とコンテキストの表現はデータ自体から学習され、ユーザはアシスタントに予想外のことを教えることができ、アシスタントは予想外の入力を理解し応答することができるようになります。

Related listening: Adam Cheyer on 25 Years Building Voice Assistants – Voicebot Podcast Ep 109


12. BRADEN REAM, CEO, VOICEFLOW

We’re going to see the rise of intent-less voice app structures that will make transactional use cases, like voice commerce, far more effective.

私たちは、音声コマースのようなトランザクションユースケースをはるかに効果的にする、インテント・レス音声アプリ構造の台頭を目にするだろう。

Related listening: Braden Ream, CEO of Voiceflow – Voicebot Podcast Ep 112


13. JOHN KELVIE, CEO/FOUNDER, BESPOKEN

The rise of a new domain-centric development model for third-parties. The initial wave of voice was based around an app-centric model. This made sense, as the analogies and onramps for developers coming from mobile and web were so easy to make. But domains make more sense for users. Domains are top-level intents with third-party fulfillment. It also means that users are defining functional boundaries, not developers or product designers. Finally, it means discovery is moot. Forget about tricks and gambits to make users memorize and chant invocation names. Instead, builders must discover users where they are, in users’ natural expressions and requests.

To effect this expeditiously, the platforms must provide a way to bring third-parties in on top-level intents fairly and transparently. And third-parties must take users as they come – with a myriad of queries and commands that may not fit neatly into their existing app-centric way of thinking.

サードパーティ向けのドメイン中心の新しい開発モデルの台頭。音声の最初の波はアプリ中心のモデルに基づいていた。これは、モバイルとウェブから来る開発者のためのアナロジーとランプがとても簡単だったので、理にかなっていた。しかし、ユーザーにとってはドメインの方が理にかなっている。ドメインとは、サードパーティのフルフィルメントを伴うトップレベルのインテントである。また、開発者や製品設計者ではなく、ユーザーが機能の境界を定義していることも意味する。最後に、これは発見が無意味であることを意味している。ユーザーに呼び出し名を覚えさせたり、唱えさせたりするためのトリックやゲームは忘れよう。その代わり、ビルダーは、ユーザーの自然な表現や要求の中で、ユーザーがどこにいるかを発見しなければならない。

これを迅速に実現するためには、プラットフォームは、サードパーティーがトップレベルのインテントを公正かつ透過的に伝える方法を提供しなければならない。サードパーティーはユーザーを必要に応じて誘導しなければならない。これには既存のアプリ中心の考え方には合わないかもしれない無数のクエリとコマンドがある。

Related reading: Amazon to Roll Out Cross-skill Goal Completion


14. MIGUEL BERGER, CEO, VOICETER PRO

In 2020, voice assistants will start to perfect the invocationless open of an app. This will happen because once Samsung fully releases Bixby, it will start to gain popularity and will spread to the other platforms. Voices will also start to sound more human. It is clear that people respond better to a less robotic a voice. It follows that the engineers at Samsung, Amazon and Google would focus energy on that.

2020年には、音声アシスタントがアプリの呼び出しなしオープン性を完成させ始める。サムスンがBixbyを完全にリリースすれば、これが起こるだろう。人気が出始め、他のプラットフォームにも広がるからだ。声もより人間らしく聞こえるようになります。ロボットのような声ではない方が反応が良いことは明らかです。したがって、サムスンAmazonGoogleのエンジニアは、この点に注力することになる。

Related reading: Speech Synthesis Becomes More Humanlike



VOICE APP DEVELOPMENT AND MONETIZATION(ボイス・アプリケーションの開発と収益化)


15. TOM HEWITSON, FOUNDER, LABWORKS.IO

2020 will be the year that the voice app ecosystem starts to make significant money. A combination of improved tools from the platforms and a greater focus on creating real value by developers will finally convince consumers to start parting with their hard-earned cash. We’re unlikely to see the first voice app unicorn in the next 12 months but perhaps we’ll spot a couple of multi-hundred hoof-prints pointing the way.

2020年は、音声アプリのエコシステムが大きな利益を上げ始める年になるだろう。プラットフォームの改善されたツールと、開発者が真の価値を生み出すことに注力することの組み合わせによって、ようやく消費者は苦労して稼いだ金を手放し始めるようになるだろう。12ヶ月以内に最初の音声アプリがユニコーンになることはなさそうだが、おそらく何百もの足跡がその方向を指し示しているだろう。

Related listening: 10 Hot Takes from Two-and-a-Half Years in Voice – Voicebot Podcast Ep 124


16. BRADLEY METROCK, CEO, SCORE PUBLISHING

Competition will tighten among major tech companies for developer attention, leading to heightened investment and accelerated feature development over the course of 2020 for Alexa, Google Assistant, Bixby, and Siri.

大手テクノロジ企業の間では、開発者の注目を奪い合う競争が激化し、2020年にかけて、Alexa、Google Assistant、Bixby、およびSiriの開発に対する投資が拡大し、機能開発が加速するだろう。

Related reading: Bradley Metrock Offers 200 Alexa Uses That Aren’t Weather and Music in New Book


17. CHARLES CADBURY, CEO, SAY-IT-NOW

The continued rise of voice commerce, specifically non-obvious ways voice removes pinch points in the customer journey. Voice commerce doesn’t always have to be at the last mile of the transaction but can have a very valuable part to play in the customer decision journey influencing the transaction.

ボイスコマース(音声認識技術を利用して音声で行えるオンラインショッピング)の継続的な成長。特に音声が顧客の移動におけるピンチポイント(接続点?)を取り除く明白でない方法。ボイスコマースは常に取引の最後の1マイルにある必要はないが、取引に影響を与える顧客の意思決定過程において非常に重要な役割を果たすことができる。

Related reading: Adobe Says 45% of Businesses Investing in Voice List Voice Commerce as Top Priority


18. ARTE MERRIT, CEO/CO-FOUNDER, DASHBOT

As with any new channel, user acquisition, discovery, and monetization can be challenges. For Voice Assistants to continue to take off, and more users and enterprises to adopt them, I am hopeful the ecosystem continues to evolve and more opportunities for user acquisition, discovery and monetization come forward. As the ecosystem evolves, and enterprises see the value in Voice Assistants, hopefully, more initiatives move from innovation teams to business units in the coming year. We are still relatively early in the space and it is exciting to see the new use cases that emerge.

他の新しいチャネルと同様に、ユーザー獲得、発見、収益化が課題となり得る。ボイス・アシスタントが今後も軌道に乗り、より多くのユーザーや企業に採用されるようになるためには、エコシステムが進化し続け、ユーザー獲得、発見、収益化の機会がさらに増えることを期待している。エコシステムが進化し、企業がボイス・アシスタントの価値を認識するにつれ、願わくば、来年はイノベーションチームからビジネスユニットへと、より多くのイニシアチブが移行するだろう。私たちはまだこの分野の比較的初期の段階にあり、新たなユースケースが現れるのを見るのは楽しみである。

Related reading: Amazon Brings Skill Monetization to the UK and Germany



VOICE ASSISTANTS ON THE EDGE(先端音声アシスタント)


19. TODD MOZER, CEO, SENSORY

The rise of Domain Specific Voice Assistants. Products will start having natural language voice assistants on board, without privacy concerns or internet connections. Chip companies will announce a number of AI chips that support this at a cost that can be used in IoT, home appliances, and other consumer products.

ドメイン指向ボイスアシスタントの台頭。製品には、プライバシーやインターネット接続を気にすることなく、自然言語の音声アシスタントが搭載されるようになる。チップメーカー各社は、IoTや家電などの消費者向け製品で利用可能なコストでこれをサポートする多数のAIチップを発表する予定だ。

Related reading: Sensory Debuts New Smart Appliance Voice Assistant Platform


20. CARL ROBINSON, HOST, VOICE TECH PODCAST

Voice AI on the edge for low-resourced IoT devices will come to the fore, with many more devices avoiding the cloud for both privacy and performance reasons. In addition, biometric authentication and emotion recognition will transform how we use voice assistants. We can look forward to using any smart speaker in the world with reduced friction and more relevant responses.

Apple will also launch some kind of voice skills, but they will be over-regulated and limited in performance. Unfortunately, Apple will continue to lag behind the other platforms. Hearables and voice-enabled wearables will be the catalyst for much greater usage and a wider variety of use cases, as mobile is inherently hands-free. Phone-zombies may even start to disappear!

低リソースのIoTデバイスでは音声AIが主流になり、プライバシーとパフォーマンスの両方の理由からクラウドを避けるデバイスが増えるだろう。さらに、生体認証と感情認識は、音声アシスタントの使い方を変えるだろう。世界のどのスマートスピーカーでも、摩擦が少なく、より適切な反応が得られることを期待しています。

Appleはまた、ある種の音声スキルも提供する予定だが、それらは過剰に規制され、性能が制限される。残念ながら、Appleは他のプラットフォームに遅れを取り続けるだろう。モバイルは本質的にハンズフリーであるため、ヒアラブル(耳で知覚可能)と音声対応ウェアラブルは、はるかに多くの利用と幅広いユースケースを促進するだろう。電話ゾンビは消え始めるかもしれない!

Related reading: Dedicated Audio Processors on the Edge Are the Future. Here’s Why.



VOICE IN THE CAR(車載音声システム)


21. PAT HIGBIE, CO-FOUNDER AND CEO, XAPPMEDIA

The availability of Alexa and Google Assistant tightly integrated into fully connected vehicles will begin to achieve critical mass in 2020 and will accelerate the use of voice assistants by the masses. The writing is on the wall and all stakeholders including car manufacturers, voice assistant platforms, radio broadcasters, streaming services, and brands will need a conversational AI strategy in order to win in this paradigm shift.

完全に接続された自動車に緊密に統合された 「Alexa」 と 「Google Assistant」 が利用可能になることは、2020年にクリティカルマスに達し始め、一般ユーザーによる音声アシスタントの利用を加速させるだろう。悪い兆しが見え始めている。自動車メーカー、音声アシスタントプラットフォーム、ラジオ放送局、ストリーミングサービス、ブランドを含むすべての利害関係者は、このパラダイムシフトに勝つために対話型AI戦略を必要とするだろう。

Related reading: GM to Provide First Alexa Auto Implementation


22. STEVE TINGIRIS, CHIEF DABBLER, DABBLE LABS

Despite some predictions of a slowdown, the average daily usages of voice assistants will grow considerably more in 2020 than any previous year. This will be largely driven by the use of devices in automobiles and wearables – mostly earbuds.

一部には鈍化の予測もあるが、2020年の音声アシスタントの平均日用利用は、前年比で大幅に増加するだろう。これは主に、自動車やウェアラブル (主にイヤホン) でのデバイスの利用によるものだ。

Related reading: IDC Says Hearables Now the Biggest Wearable Category


23. MAURO DEL RIO, FOUNDER, SOLO.FM

Assistants widespread in cars.

アシスタントは車に広まっている。

Related reading: A Voice Giant is Born. Cerence Now Houses All of Nuance Automotive’s Solutions and Customers



VOICE ASSISTANTS AND WEARABLES / HEARABLES AND OTHER DEVICES(音声アシスト機能、ウェアラブル、ヒアラブル、その他のデバイス


24. STUART CRANE, FOUNDER/CEO, VOICE METRICS

One of the breakout hits in the voice space for 2020 and beyond will be voice-activated rings, starting with the Echo Loop. Alexa users will appreciate the ability to use Alexa anytime, anywhere without having to have a smart speaker nearby, or headphones in their ears. I predict that in 2020, Apple will take notice of this new “category” (voice-activated rings), and begin developing a Siri-compatible ring, which, sometime after 2020, will become an even bigger hit than the Echo Loop.

2020年以降の音声分野でヒットするのは、Echo Loopを皮切りに、音声で作動するリングだ。Alexaユーザーは、スマートスピーカーやヘッドフォンを耳に入れなくても、いつでもどこでもAlexaを利用できることを歓迎するだろう。筆者の予想では、Appleは2020年にこの新しい「カテゴリ」(音声作動リング)に注目し、2020年以降にSiri互換のリングの開発を開始し、Echo Loopよりもさらに大きなヒットになるだろう。

Related reading: Amazon Unveils Alexa-Powered Smart Glasses, Smart Ring


25. MAX CHILD, CO-FOUNDER, VOLLEY

The tipping point for smart displays has come to pass. By the end of 2020, the most highly-used voice apps (outside of sleep) will include robust, stimulating visual experiences.

スマートディスプレイの転換点がやってきた。2020年末までに、最もよく使われる音声アプリ(睡眠外で)には、力強く刺激的な視覚体験が含まれるようになるだろう。

Related reading: Amazon Continues to Lead in Smart Displays with 59% Share



APPLE AND SIRI(アップルとシリ)


26. KATY BASS, CEO/FOUNDER, ALTAVOX

2020 has to be the year that Siri opens up a voice marketplace! Many in the industry expected this to happen in 2019. This will help brands and third party developers have a presence on one of the major voice assistants and the leader in the ‘hearables’ space with AirPods. We may also see Apple announce a new product this year with voice-enabled AR glasses.

2020年はSiriが音声マーケットプレイスを開設する年でなければならない。業界の多くの人たちは2019年にこのようなことが起こるだろうと予想していたが、これによってブランドやサードパーティーの開発者たちは、大手の音声アシスタントやAirPodsの「ヒアラブル」分野のリーダーとしての存在感を得ることができるだろう。Appleは今年、音声対応のARメガネを搭載した新製品を発表するかもしれない。

Related reading: What You Didn’t Hear from Apple WWDC about Siri, Voice, or AI


27. YANNICK OSWALD, PARTNER, MANGROVE CAPITAL PARTNERS

A lot more is to be expected from Apple in the coming year. The tech company is already releasing at an accelerated pace new voice commands these last months and I expect them to open up their voice ecosystem to a wider developer community allowing startups to build apps with cutting edge voice-first commands.

Appleは来年、さらに多くのことを期待している。同社は既にこの数カ月間、新しい音声コマンドのリリースを加速させており、同社の音声エコシステムをより幅広い開発者コミュニティーに開放し、スタートアップが最先端の音声コマンドを使ったアプリを開発できるようにすることを期待している。

Related reading: Voice Startup Funding in 2019 Set to Nearly Triple Says Mangrove Analysis


28. JOHN CAMPBELL, MANAGING DIRECTOR AND FOUNDER, RABBIT & PORK

Firstly, I think we’ll start to see Amazon and Google start to release features for Skills and Actions directly related to earbuds and in-car usage. For example, being able to use data from the accelerometer in the Echo Buds in your Skill. This will start to open-up new use cases for Skills.

Secondly, Apple will launch “voice” or “Siri voice apps.” The platform will not be as feature-full as we’ve seen with Alexa Skills and will be deeply integrated with the existing app store.

まず、AmazonGoogleがSkills and Actionsというイヤホンと車内での利用に直接関係する機能をリリースするだろう。たとえば、SkillのEcho Budsで加速度計のデータを使えるようにする。これはSkillsの新しいユースケースを開くことになるだろう。

第二に、Appleは「声」または「Siriの音声アプリ」をローンチする。このプラットフォームはAlexa Skillsで見たような機能満載ではなく、既存のアプリストアと深く統合される。

Related reading: Amazon Echo Buds are Critical to Alexa’s Mobile Strategy


29. ROB HAYES, HEAD OF PRODUCT, VOICEFLOW

Apple will continue to open up Siri for 3rd party skill development, which will raise the prominence of voice as a channel that consumer-focused apps need to operate on.

Appleは今後もSiriをサードパーティーのスキル開発に開放していく予定であり、これによって消費者向けアプリが動作するために必要なチャネルとして、音声の重要性が高まるだろう。

Related reading: Apple Start to Play Nice with Competitors as Spotify and WhatApp Get Siri Support



VOICE AND CONTENT(音声コンテンツ)


30. DAVE KEMP, FOUNDER, FUTURE EAR

I think that the biggest breakthroughs within the voice space will be driven by media-based companies that supply content in new formats conducive to voice assistants and their affiliated hardware. Food Network Kitchen will provide a blueprint for how media-companies like Discovery can adapt their content to multi-modal voice devices. Spotify will help to shape the way we think about how voice assistants can work in conjunction with music and podcasting and will blaze a trail of new ways to access and share said content. I also think we’ll see hearables continue to play a prominent role within the voice ecosystem, particularly as on-the-go applications are developed and take advantage of mobile data inputs, such as GPS.

音声分野における最大のブレークスルーは、音声アシスタントや関連ハードウェアに適した新しいフォーマットでコンテンツを提供するメディアベースの企業によってもたらされると思う。Food Network Kitchenは、Discoveryのようなメディア企業がコンテンツをマルチモーダルな音声デバイスに適応させるための青写真を提供する。Spotifyは、音声アシスタントが音楽やポッドキャストと連携してどのように機能するかについてのわれわれの考え方を形作るのに役立ち、そのようなコンテンツにアクセスし共有するための新たな方法の道を切り開くだろう。また、音声エコシステム内では、特にGPSなどのモバイルデータ入力を利用した外出先でのアプリケーションが開発されているため、今後も音声が重要な役割を果たし続けると思う。

Related Listening: Hearables and Voice with Dave Kemp and Andy Bellavia – Voicebot Podcast Ep 127


31. AMIR HIRSH, CEO, AUDIOBURST

The gimmick is over. Voice is now known, popular, and frequently used. In 2020, the industry will pick up its game and provide real value to customers. Users at this point are past the pleasing effect of the coolness of voice interaction with a machine and will demand useful functionality. In 2020, the focus will be on serving the day-to-day lives of users with the content updates they are searching for, the knowledge they would like to be informed about, and their daily tasks predicted and more easily completed. Any company not providing consumers with real value in a well-polished experience will be tossed to the side of the road and forgotten. The expectation of quality will simply be higher. That means the platforms, brands, media, and other content providers will need to step up their game simply to keep pace.

ギミックは終わった。音声は今ではよく知られ、人気があり、頻繁に使われている。2020年には、この業界はゲームに磨きをかけ、顧客に真の価値を提供するだろう。この時点では、ユーザは、機械との音声対話のクールさの心地よい効果を超えており、有用な機能を要求することになる。2020年には、ユーザーが探しているコンテンツの更新情報、ユーザーが知りたい知識、ユーザーが予測してより簡単に実行できる日常業務を提供することに重点が置かれる予定だ。洗練された体験で真の価値を消費者に提供しない企業は、道の脇に放り出されて忘れ去られるだろう。品質に対する期待が高まるだけだ。つまり、プラットフォーム、ブランド、メディア、その他のコンテンツプロバイダーは、単に後れを取らないために、ゲームを強化する必要があるということだ。

Related reading: Audioburst Brings Audio Content Discovery to Android Auto and Bixby


32. STEVEN GOLDSTEIN, CEO, AMPLIFI MEDIA

They key is removing friction. While it is easy to get a weather forecast, getting a podcast, for example, has been loaded with frustration. Apple Podcasts just did a deal with Amazon so the app works seamlessly with Alexa. Now, just to get people to use it. Awareness and learning are always a challenge for anything new. On to the car – the next big area. GM, Toyota, BMW, Ford and Audi head the list of companies putting voice compatibility into infotainment systems. Some retroactively, meaning earlier models will have functionality. Let the anarchy begin.

それらのキーは摩擦を取り除くことだ。天気予報を入手するのは簡単だが、例えばポッドキャストを入手するのはフラストレーションがたまっている。Apple Podcastsは先ほどAmazonと契約を結び、Alexaとシームレスに動作するようになった。人々に使ってもらうためだ。何か新しいことを発見したり、学んだりすることは、常にチャレンジである。次の大きなエリアは車だろう。インフォテインメントシステムに音声対応を導入している企業のトップは、GMトヨタBMW、フォード、アウディだ。過去にさかのぼって、つまり以前のモデルには機能があるということだ。無政府状態が始まるだろう。

Related reading: Apple and Spotify Podcasts Now Available Through Alexa



VOICE IN THE ENTERPRISE(エンタープライズにおける音声テクノロジー


33. MILKANA BRACE, FOUNDER/CEO, JARGON

Business users rapidly adopting voice technologies as part of their jobs.

ビジネスユーザーは、仕事の一部として音声テクノロジーを急速に採用している。

Related listening: Voice Year in Review with Jargon, Voxly, and Voicebot, Voicebot Podcast Ep 128


34. JON C. STINE, EXECUTIVE DIRECTOR, OPEN VOICE NETWORK

In 2020, we’ll begin to see an expansion of enterprise voice use, and across all consumer-facing industries. The voice story will begin to shift — appropriately — from platforms and technologies to enterprise value. Mind you, this will be a beginning with full flowering seen in 2022 or later.

2020年には、企業の音声利用が拡大し始め、あらゆる消費者関連業界で利用されるようになるだろう。ボイスストーリーは、プラットフォームやテクノロジーからエンタープライズバリューへと、適切に移行し始める。なお、これは2022年以降に見られる開花の始まりであることに気をつけて。

Related listening: Enterprise Voice Assistant Adoption with Nestle, RBC, and American Red Cross – Voicebot Podcast Ep 118


35. EMERSON SKLAR, CHIEF EVANGELIST, BESPOKEN

I believe this is the year that we will see finally significant adoption of internal-business-focused voice solutions ala Alexa for Business. The ROI is extremely compelling, the use cases are numerous, and enterprises are finally familiar enough with voice to make investments in optimizing their internal processes with voice automation.

今年は、Alexa for Businessのような、企業内に特化した音声ソリューションが、いよいよ本格的に採用される年になるだろう。ROI (投資収益率) は非常に魅力的であり、使用例も多数ある。企業は音声にようやく精通し、音声自動化による社内プロセスの最適化に投資している。

Related reading: A B2B Focus for Cortana Makes Sense for Microsoft But Not for Amazon and Google



INDUSTRIES ADOPTING VOICE(産業分野への音声の適用)


36. AUDREY ARBEENY, FOUNDER/CEO/EXECUTIVE PRODUCER, AUDIOBRAIN

My prediction is that we’ll see the most growth going to the healthcare industry: developments such as synthetic voices, the ability to interpret emotional nuances, predictive behavior, medical robotics, devices, home monitoring, patient/caregiver interaction. All of these seem to be emerging the fastest.

This is because the rapid growth from smart speaker to machine learning, and adaptation of the technology, UI, UX, and the new capabilities which are evolving every day. We now have a large aging population with caregivers and healthcare providers who need more remote monitoring and wellness check-ins and interactions. The list goes on.

私の予想では、最も成長するのは医療業界だ:合成音声、感情のニュアンスを解釈する能力、予測行動、医療ロボット、デバイス、ホームモニタリング、患者と介護者の相互作用などの開発。これらはすべて最速で出現しているようだ。

これは、スマートスピーカーから機械学習への急速な成長と、日々進化するテクノロジー、UI、UX、新機能の適応によるものである。私たちは今、介護者や医療提供者を持つ多くの高齢者人口を抱えており、彼らはよりリモートでのモニタリングや健康チェックイン、交流を必要としている。他にも挙げればまだある。

Related reading: Connecting Beyond Voice Through Sonic Branding


37. JOHN THOMPSON, OPERATIONS MANAGER, VOGO VOICE

We at VOGO Voice predict that businesses will start to leverage voice assistants and smart speakers more in 2020. We feel that companies will establish more personalized services for their customers using their own customer data to enrich the voice experience. Businesses will also enable workforce efficiencies and enhance worker safety using a combination of voice interaction and realtime geospatial data for “hands-free” data collection. In the public sector, we feel we will see more civic “smart city” initiatives that allow citizens to interact with city, county, and state agencies through smart speakers.

VOGO Voiceでは、2020年には企業が音声アシスタントやスマートスピーカーをもっと活用し始めるだろうと予測している。企業は、音声体験を豊かにするために、自社の顧客データを使って顧客のためによりパーソナライズされたサービスを確立するだろうと感じている。また、企業は、「ハンズフリーの」データ収集のための音声対話とリアルタイムの地理空間データを組み合わせることで、従業員の効率性と安全性を向上させる。公共部門では、スマートスピーカーを通じて市民が市、郡、州の機関と交流できるようにする市民の「スマートシティ」イニシアティブが増えると感じている。

Related reading: Iowa Governor Announces New Alexa and Google Assistant Apps for State Government Information


38. LUC VEUILLET, VOICEFIRST LEADER, INSIGN

2020 will result in a double movement of the voice market. First, an extension of the installed base. Europe, including France, from which I am speaking, is just beginning to consider voice. Through cars, software, devices such as STB, basic usage, voice acceptance will [increase]. More vertical uses, addressing specific business needs and contexts, will create the long-awaited #voicefirst killer app, but I think it will be in B2B. This is what we are beginning to see on construction sites, in factories, and through the vocal extension of software in wearables.

Concerning ethics and actors, the disappearance of Snips that I wrongly predicted to be a success last year, is an epiphenomenon, as other movements are already launching to offer an open-source NLP. Initiatives, such as Mozilla and for example in France the Voice Lab, bear witness to this.

2020年は音声市場の二重の動きとなるだろう。まず、インストール・ベースの拡張だ。私が話をしているフランスを含むヨーロッパは、声について考え始めたばかりである。自動車、ソフトウェア、STBなどのデバイス、基本的な使用方法、音声の受け入れが増加する。特定のビジネスニーズや状況に対応した、より垂直的な利用法は、待望の#voicefirstキラーアプリを生み出すだろうが、私はB2Bになると考えている。これは建設現場や工場で見られるようになってきたものであり、ウェアラブルにおけるソフトウェアの音声拡張を通じても見られるようになってきている。

倫理とアクターに関して昨年私が誤って成功と予測したSnipsは消滅したが、その他のオープンソースNLPを提供する動きはすでに始まっており、MozillaやフランスのVoice Labなどのイニシアチブがそれを証明している。

Related reading: Sonos Acquires Snips for $37.5 Million



VOICE AND MARKETING(音声とマーケティング


39. HARISH GOLI, PM AUDIO AND VOICE ADS, PANDORA

Voice based advertising will become a reality (not just an one off science experiment). Engagement data will make voice advertising attractive to advertisers.

(単発の科学実験では無い)音声ベースの広告が実現するだろう。エンゲージメントデータは、音声広告を広告主にとって魅力的なものにするだろう。

Related reading: Pandora Begins Running Interactive Voice Ads


40. PETE HAAS, FOUNDER, CONVERSATION CURVE

I predict that 2020 will be a continuation of 2019. Brands with some experiences will continue to improve and learn from their users. Most of the use-cases will be engagement with customers (FAQ, Store Hours, etc). More interesting interactions like transactions will likely come after 2020. Keep an eye out for competition outside the U.S. next year. Companies like Baidu are making amazing progress.

私は、2020年は2019年の延長線上にあると予測している。ある程度の経験を持つブランドは、今後も改善を続け、ユーザーから学ぶだろう。ユースケースの大半は顧客とのエンゲージメント(FAQ、営業時間など)だ。取引のようなもっと興味深い交流は2020年以降になるだろう。来年は米国外の競争に目を光らせておこう。Baiduのような企業は驚くべき進歩を遂げている。

Related reading: Baidu Updates DuerOS Voice Platform and Hit 400 Million Device Milestone


41. BENJAMIN FISHER, FOUNDER, MAGICCO

Global brands will become intelligent in 2020. Conversational systems, including voice, are going to have content be highly personalized, independent, and conversational. For example, they will be able to run independently. I think they will become more seamless and affect our global conversation on social media, and in our homes, in more seamless and autonomous ways. I also predict a hundred million dollar app.

グローバル・ブランドは2020年には知的になり、音声を含む会話システムでは、コンテンツが高度にパーソナライズされ、独立し、会話的になる。例えば、彼らは独立して走ることができる。それらはよりシームレスになり、ソーシャルメディアや家庭でのグローバルな会話に、よりシームレスで自律的な方法で影響を与えると思う。私は1億ドルのアプリも予想している。

Related listening: Alexa, Bixby, Google Assistant, and Siri Rely on Wikipedia and Yelp for Many Common Questions About Brands


42. STAS TUSHINSKIY, CEO, INSTREAMATIC

There’s been a lot of positioning this year towards audio publishers (Pandora and Spotify, to name a couple) and big advertisers (like IKEA, HP and Infiniti) moving towards — and testing — voice dialogue ads. I think this sets up 2020 to be the year that voice-enabled advertising really makes its mark on audio content consumers. Heading into 2020, voice dialogue advertising is now capable of leveraging far more advanced voice AI technology to replace the passive, often irrelevant and unwelcome ads that listeners are accustomed to. This is a big deal, as these interactive experiences are, in early deployments, proving to earn greater engagement and conversion (i.e. good for audio publishers, advertisers, and listeners alike).

今年(2019)はオーディオ・パブリッシャー(PandoraとSpotifyを例に挙げる)や大手広告主(イケア、HP、インフィニティなど)が音声対話広告に移行し、テストしていることに対して多くのポジショニングがあった。2020年は、音声対応広告がオーディオコンテンツ消費者に大きな影響を与える年になるだろう。2020年に入って音声対話広告は、はるかに高度な音声AI技術を利用して、リスナーが慣れ親しんでいる受動的で、往々にして無関係で歓迎されない広告を置き換えることができるようになった。このようなインタラクティブな体験は、初期の導入段階では、より多くのエンゲージメントとコンバージョンを獲得することが証明されているため、これは重要なことである。(つまり、音楽出版社、広告主、リスナーのいずれにとってもメリットがある)

Related reading: Pandora Taps Instreamatic to Test Voice-Enabled Ads



OTHER VOICE ADOPTION DRIVERS AND PREDICTIONS(その他の音声を採用する推進要因と予測)


43. HEIDI CULBERTSON, CEO, MARVEE

While the 2020 buzz will be the opportunity in hearables and voice-on-the-go. The success story of 2020 will be voice and accessibility as brands recognize the opportunity for business and social good driven by high user adoption rates across multiple niche audiences.

2020年の話題は、ラジオや外出先での音声通話の機会になるだろう。2020年のサクセス・ストーリーは、複数のニッチなオーディエンスにわたって高いユーザー普及率が原動力となっているビジネスと社会の利益の機会をブランドが認識したときの、声とアクセシビリティになるだろう。

Related listening: Heidi Culbertson on Voicebot Podcast Ep 68


44. RALF EGGERT, CEO, TRAVELLO

Voice assistants will take the next step to become real personal assistants and this will make people more likely to use their language assistants more often.

音声アシスタントは、本物のパーソナルアシスタントになるための次のステップに進み、言語アシスタントをより頻繁に使うようになるだろう。

Related reading: Google Duplex is Now in 43 States


45. FRED ZIMMERMAN, FOUNDER, ALTBRAINS WORKSHOP

There will be a “broadcast to the world” event where a voice agent talks to everyone at the same time. It may be planned or it may be an accident–Google issues an emergency notification about a global threat; Jeff Bezos issues a personal message the day before the election; Siri gets hacked — who knows! And it may or may not contain an interactive element where the system is able to act effectively on the hundreds of millions of responses it will receive. But, it will illustrate voice’s power to touch everyone at an emotional level at the same moment — a bit like Orson Welles’ War of the Worlds and radio. I may be early — this may not occur in 2020, but later — but it is coming.

ボイスエージェントが全員と同時に話す「世界中に放送される」イベントがある。それは計画されたものかもしれないし、事故かもしれない。例えば、Googleはグローバルな脅威に関する緊急通知を発行する、ジェフ・ベゾスが選挙前日に個人的なメッセージを発表する、Siriがハックされる、といったことが考えられるが、誰も知らない! また、システムが受信する何億もの応答に対して効果的に動作できるインタラクティブな要素を含む場合と含まない場合がある。しかし、それは同時にすべての人に感情的なレベルで触れ合う声の力を示す。これはオーソン・ウェルズ宇宙戦争とラジオに少し似ている。こういったことは2020年には起こらないかもしれないが、やがてに起こるかもしれない。

Related reading: Google Home Rolls Out Broadcast Feature


46. JOHN AMEIN, VP SALES, ID R&D

Voice assistants across all devices have become incredibly useful and are now well accepted. We see [several] trends developing in 2020 that will continue the voice AI revolution.

One is due to the natural maturing of voice as an interface. Now that voice is common on “what” a person is speaking, the next step is knowing “who” is speaking. If you know who is speaking, you can prevent the wrong person from using the device to order on an account, or you can personalize the response when someone says, “play my music.” Knowing the speaker’s identity is already possible with Google and Alexa but not broadly used nor easily integrated into a process flow. Third-party products will take better advantage of this capability, adding services and capabilities by including third-party software to know “who” is speaking while leaving it up to Amazon and Google to continue to determine “what” is being said.

あらゆるデバイスで音声アシスタントが非常に便利になり、広く受け入れられている。2020年には、音声AI革命を継続する(いくつかの)トレンドが進展していくだろう。

1つは、インターフェイスとしての音声の自然な成熟によるものである。人が話している「何か」が音声が一般的になったので、次のステップは「誰か」が話していることを知ることだろう。誰が話しているのかわかっていれば、間違った人がこのデバイスを使ってアカウントで注文するのを防いだり、誰かが「私の音楽を演奏してください」と言ったときの応答をパーソナライズしたりできる。話者の身元を知ることは、GoogleとAlexaではすでに可能だが、広く使われているわけでもなく、プロセスフローに簡単に統合されるわけでもない。サードパーティー製品はこの機能をより有効に活用し「誰」が発言していることを知るためのサードパーティー製ソフトウェアを含めることでサービスや機能を追加し、一方「何」が発言されているかどうかの判断はAmazonGoogleに任せるだろう。

Related Reading: Deepfake Security Concerns are Limiting Voice ID Adoption


47. MAARTEN LENS-FITZGERALD, CEO, LENS-FITZGERALD CONSULTING

Confusion is the word for the Voice industry 2020. The hype led and leads to inflated expectations that keep not being met. Although more people will use more Voice it will also get more confusing and therefore disappointing. Some examples from a user perspective:

  • The Alexa buds don’t work well on my phone’s Siri.
  • My car’s voice system is not aware of my Google Assistant preferences and requires I talk to it differently.
  • I keep forgetting that new invocation I found the other day.
  • My “voice” blinds from Ikea won’t close unless I pronounce the commands perfectly.
  • My Hue lights work on Alexa but not on Google Assistant. I can’t converse.
  • My voice assistant hears me talking about brand “X” and then my Instagram is flooded with ads for that brand.

The confusion will lead to a feeling of apathy and idleness with organizations. There will be two groups. One group that just uncovered the potential of Voice and is super excited and ready to try and explore. Then there is the second group that learned about the potential and also learned they can’t get it to work yet. The apathy group. This, in turn, leads to more confusion with what looks like promising initiatives being launched as well as initiatives being halted.

混乱とは音声業界2020の言葉だ。誇大広告は期待を膨らませ、満たされないままにしている。より多くの人がより多くのVoiceを使用するようになるが、それはまたより混乱し、したがって失望するであろう。ユーザーの観点からのいくつかの例:

  • Alexaは私のスマートフォンのSiriではうまく動かない。
  • 私の車の音声システムは私のGoogle Assistantの好みを認識しておらず、別の方法で話す必要がある。
  • 私は先日見つけた新しい念仏を忘れてばかりいる。
  • イケアの「声」ブラインドは、コマンドを完璧に発音しないと閉まらない。
  • My Hue LightはAlexaでは動作するが、Google Assistantでは動作しない。なので両者は会話ができない。
  • 私の音声アシスタントは、私がブランド 「X」 について話しているのを聞き、私のInstagramはそのブランドの広告で溢れかえっている。

混乱は組織に対する無関心と怠惰感につながるだろう。 2つのグループがある。1つ目のグループは音声の可能性を発見したばかりで、とても興奮していて、探求しようとしている。 次に、可能性について学習し、まだそれを機能させることができないことを学習した2番目のグループがあり。それから無関心派。 その結果、有望と思われる取り組みが開始されたり、中止されたりして、さらに混乱が生じる。

Related listening: The Privacy Episode with Molla, Mozer, and Lens-FitzGerald – Voicebot Podcast Ep 126



BRET KINSELLA

Bret is founder, CEO, and research director of Voicebot.ai. He was named commentator of the year by the Alexa Conference in 2019 and is widely cited in media and academic research as an authority on voice assistants and AI. He is also the host of the Voicebot Podcast and editor of the Voice Insider newsletter.

Bret氏は、Voicebot.ai の創設者、CEO、リサーチディレクターである。2019年のAlexa Conferenceで 「今年のコメンテーター」 に選出され、音声アシスタントやAIの権威としてメディアや学術研究で広く引用されているほか、 "Voicebot Podcast" のホストやニュースレター"Voice Insider"の編集者でもある。


以上

ブライアン・カーニハンとELIZA

Brian Kernighan and ELIZA


2020/02/12
藤田昭人


レギュラースタイルのブログは久しぶりですが…

年明けより ELIZA 本の執筆を本格化しています。 そこで悩ましいことが1つ。書籍執筆と並行してブログが書けるのか?という問題です。 もちろん「ブログは書籍の草稿」と宣言しているので、ネタが被るのは全然OKのはずなんですがね。 いざ書いてみると「あまりネタバレしてもなぁ…」と助平心がムクムクしてしまうのが問題なのです。

当初はプライベート・プロジェクトとして進めてるELIZA実装のトピックを幾つか書くつもりだったのですが…どうやらあまり需要が無いような。 で「どうしたもんかなぁ…」と考えているところに飛び込んで来たのは "UNIX A History and a Memoir" の存在。 当然『Unix考古学』の著者としては無視できるはずもなく、すかさず原書を購入したのですが…すっかりマイブームとなっております。

で…

(本気で訳し始めるとELIZA本が書けなくなるので)原書をパラパラめくっていると "ELIZA" の文字が飛び込んできました。 そこで、すかさず「ブログで1本ぐらいかけるな!!」とほとんど思いつきだけで書き始めたのが本稿です。


ブライアン・カーニハンについて

僕と同世代のUnixオタクの皆様には今更な話ですが…

今日では研究版と称される最初のUnixケン・トンプソンデニス・リッチー が 開発したとされてますが、 Unixの開発を行ったAT&Tの ベル研 にはUnixを開発する研究グループが存在し、 他にも優秀な研究者や開発者が在籍していました。

ブライアン・カーニハン もその一人で、グループ随一の論客だと僕は認識しています。 例えば『パスカルが私の好きな言語ではない理由』とかね。

www.lysator.liu.se

初めてみた時「嫌いなことをいちいち書いて公言せんでも良かろう」と思ったものです *1

カーニハン以外のこの種の(非常にクレバーな)論客はと言うと バトラー・ランプソン しか僕は知らないのですが、 ランプソンが情報工学全般の広範囲で非常に画期的な(かつ今日実用化されている)技術に関する論文を量産していたのに対し、 カーニハンは 『ソフトウェア作法』("Software Tools")、 『プログラミング言語C』("The C Programming Language")、 『プログラム書法』("The Elements of Programming Style")、 『UNIXプログラミング環境』("The Unix Programming Environment")、 『プログラミング言語AWK』("The AWK Programming Language")*2 といったUnix関連の有名な書籍をたくさん書いてます。 カーニハンはランプソンよりも幾分、教育者としてのイメージが僕には強いです。


"UNIX A History and a Memoir" について

この書籍は Kindle Direct Publishing を使ってカーニハン自身が Kindle Book を作成したようです(2019年10月公開)。 なので本書に関する出版社のホームページなどは見当たりません。 下記のカーニハン自身のホームページがその代わりのようです。

www.cs.princeton.edu

といってもあるのは ERRATA (と Kindle Edition への苦情)ぐらい *3

ともあれ…

"In memoriam DMR" との追悼の辞から始まる本書は Unix の開発者たちの私的な内容も含まれてます。 ちなみに、この DMR とはデニス・リッチーのことです。 こと Unix に関してはデニス・リッチーもドキュメントやメモランダムをたくさん残しています*4。これまた僕の印象ですが、リッチーのドキュメントは 研究版 Unix の開発グループのスポークスマン的な立場で書かれたものが多いのですが、 カーニハンのドキュメントはもう少し自由な立場で歯に衣を着せぬ物言い…というイメージがあります。 もっとも本書は、もしリッチーが存命であれば彼自身が書きそうな内容に読めます。


1.3 ベル研(BTL)でのブライアン・カーニハン(BWK)【抜粋】

本書は Kindle Book なので次の Amazon の書籍のページに行けばプレビュー が読めます。

https://www.amazon.co.jp/UNIX-History-Memoir-Brian-Kernighan/dp/1695978552/ref=sr_1_1?__mk_ja_JP=%E3%82%AB%E3%82%BF%E3%82%AB%E3%83%8A&crid=11X3OGG5R0K98&keywords=unix+a+history+and+a+memoir&qid=1581492080&sprefix=UNIX+%2Caps%2C261&sr=8-1

カーニハンが ELIZA について語っている箇所(P.9〜P.10)は そっくりプレビュー に収められているので、抜粋して翻訳してみました。 "1.3 BWK at BTL" の途中からです。このセクションの冒頭では 1964年に学部を卒業した後、大学院に進学するまでの数ヶ月間 インターンとしてインペリアル・オイル("Imperial Oil", 現エクソン)で 働いたことが語られています。それが「苛立たしい夏」の経験です。

I also tried to get Fortran programs running on Imperial’s IBM 7010, since I sort of knew Fortran, certainly better than I knew Cobol, and Fortran would have been better suited for data analysis. It was only after weeks of fighting JCL, IBM’s Job Control Language, that I deduced that there was no Fortran compiler on the 7010, but the JCL error messages were so inscrutable that no one else had figured that out either.

また、Fortranの知識がCobolよりも豊富で、しかもFortranがデータ解析に適しているインペリアルのIBM7010でFortranのプログラムを動作させようとしました。JCL(IBMのJob Control Language)との数週間にわたる格闘の末に、私は7010にはFortranコンパイラがないと推論しましたが、JCLのエラー・メッセージは非常に不可解で他の誰もがそれを理解できませんでした。

カーニハンがJCLと格闘したのは1964年ですが、その20年後の1984年の僕も同じようにJCLと格闘して、 彼と同じように苛立たしい半年間を過ごしました。なので、ここの記述には非常に共感します。

When I returned to school for my senior year after this somewhat frustrating summer, I was still strongly interested in computing. There were no formal courses on computer science, but I did write my senior thesis on artificial intelligence, a hot topic at the time. Theorem provers, programs to play chess and checkers, and machine translation of natural languages all seemed like they were within reach, just requiring a bit of programming.

このやや苛立たしい夏の後、4回生のために学校に戻ったとき、私はまだコンピュータに強い興味を持っていました。コンピュータサイエンスの正式なコースはありませんでしたが、当時話題になっていた人工知能に関する卒業論文を書きました。定理証明、チェスやチェッカーをプレイするためのプログラム、自然言語機械翻訳は、すべて手の届く範囲にあるように見えたのですが、ほんの少しのプログラミングが必要でした。

この「当時話題になっていた人工知能に関する卒業論文を書いた」との記述は、 今現在、機械学習を使った卒業研究テーマに没頭している学部生や修士学生のみなさんと相通じるのではありませんか? 「定理証明、チェスやチェッカーをプレイするためのプログラム、自然言語機械翻訳は、すべて手の届く範囲にあるように見えた」とか 「ほんの少しのプログラミングが必要」との楽観的な見通しは特に(笑)

After graduating in 1964, I had no clue what to do next, so like many students I put off the decision by going to graduate school. I applied to half a dozen schools in the United States (not common among Canadians at the time), and by good luck was accepted by several, including MIT and Princeton. Princeton said that the normal time to complete a PhD was three years, while MIT said it would probably take seven years. Princeton offered a full fellowship; MIT said I would have to be a research assistant for 30 hours a week. The decision seemed pretty clear-cut, and a good friend, Al Aho, who had been a year ahead of me at Toronto, was already at Princeton, so off I went. It turned out to be an incredibly fortunate choice.

1964年に卒業した後、私は次に何をしたらいいのか分からず、多くの学生と同じように、大学院に行くことにしました。私はアメリカの六ダースほどの学校(当時のカナダ人には一般的ではなかった)に応募しましたが、幸運にもMITやプリンストンなど数校に合格しました。プリンストンによると、博士号を取得するには通常3年かかるが、マサチューセッツ工科大学 (MIT) では7年はかかるだろうといいます。MITは私は週に30時間研究助手をしなければならないと言いましたが、プリンストンは完全な奨学金を提供しました。決断はかなり明確だったようで、トロントで私より1年先にいた親友の Al Aho が、すでにプリンストンにいたので、私は出発しました。それは信じられないほど幸運な選択でした。

この「卒業した後、何をしたらいいかわからず、大学院に行くことにした」も不思議に現在と符合しているようでクスッと来ますね。 でもMITやプリンストンに合格してることから、カーニハンは学業は優秀だったんでしょうねぇ。 結局「楽して学位が取れる」というのが決断の理由だった(笑)

しかし、MITとプリンストンを両天秤にかけられる人って…

In 1966, I got lucky again, with a summer internship at MIT, thanks in part to the fact that another Princeton grad student, Lee Varian, had done a great job there in 1965. I spent the summer using CTSS, the Compatible Time-Sharing System, writing programs in MAD (Michigan Algorithm Decoder, a dialect of Algol 58) to build tools for a new operating system called Multics, which we’ll come to in Chapter 2. (Multics was originally spelled MULTICS, but the lower-case version is less visually jarring; as with UNIX versus Unix and some other all-caps words, I'll use the nicer-looking form even though it’s not historically accurate.)

1966年、私は再びマサチューセッツ工科大学で夏のインターンシップを経験するという幸運に恵まれました。これはプリンストン大学の大学院生である Lee Varian が 1965 年に同大学で素晴らしい仕事をしたことが一因です。私はこの夏、CTSS(Compatible Time-Sharing System)を使用して、MAD(Michigan Algorithm Decoder、Algol58 の方言)でプログラムを作成し、Multics という新しいオペレーティングシステムのツールを構築しました。これについては第2章で説明します(Multics は元々 MULTICS と綴られていましたが、小文字バージョンの方が視覚的に不快感が少ないです。歴史的には正確ではありませんが、UNIX vs Unix や、その他のすべて大文字の単語と同様に、見栄えの良い形式を使用します)。

カーニハンの院生としての最初のインターンシップはMITで、なんと学生の頃から Multics の開発に参加していたんですねぇ。 ここで登場する CTSSMAD) は ELIZA の開発環境でもあります。 1969年あたりに Multics の学内リリースが始まるまでは、 このCTSS+MADがMIT学内の標準的なプログラミング環境だったのでしょうか? *5

My nominal boss at MIT was Professor Fernando Corbato, “Corby” to everyone, a wonderful gentleman, the creator of CTSS, and the person in charge of Multics. Corby won the Turing Award in 1990 for his fundamental work on time-sharing systems. He died in July 2019 at the age of 93.

MITでの名目上の上司は、フェルナンド・コルバト教授でした。誰もが “Corby” と呼び、素晴らしい紳士であり、CTSSの作成者であり、Multicsの責任者です。 Corbyは、1990年に、タイムシェアリングシステムに関する基本的な研究でチューリング賞を受賞しました。彼は2019年7月に93歳で亡くなりました。

In addition to leading the design and implementation of CTSS and Multics, Corby was the inventor of passwords for computer access. There had been little need for such a thing with batch computing. but some security mechanism was necessary to protect private files on a time-sharing computer with a shared file system.

Corby は、CTSS と Multics の設計と実装をリードしただけでなく、コンピュータアクセス用のパスワードの発明者でもあります。バッチ・コンピューティングでは、このようなことはほとんど必要なかったのですが、共有ファイルシステムを持つタイムシェアリングコンピュータ上のプライベート・ファイルを保護するには、いくつかのセキュリティメカニズムが必要でした。

I still remember both of the short pronounceable passwords that were automatically generated for me while I was at MIT in the summer of 1966. Two passwords were needed, not one, because one day during ne summer a mixup caused the file that stored the passwords to be exchange with the file that held the login message of the day. Since passwords were stored unencrypted, everyone who logged in got to see everyone else's passwords.

1966年の夏にMITにいたときに自動生成された短い発音可能なパスワードを今でも覚えています。初夏のある日に混乱が起こり、パスワードを保存したファイルがその日のログインメッセージを保存したファイルと交換されたため、パスワードは一つではなく二つ必要でした。パスワードは暗号化されずに保存されていたため、ログインした全員が他の全員のパスワードを見ることができました。

今日のアカウントの概念を発明したのも Multics だったのですねぇ。 しかし「パスワードは暗号化されずに保存されていたため、ログインした全員が他の全員のパスワードを見ることができた」とは…

My office, which I remember as being unshared, belonged to Professor Joseph Weizenbaum, but he was away for the summer. Early in 1966, Weizenbaum had published a description of Eliza, a program that simulated a dialog with a Rogerian psychologist. Eliza was one of the first attempts at using natural language to interact with a computer. It was surprisingly effective, at least when first encountered, and I enjoyed showing it off to visitors. There are plenty of Eliza simulators on the web today; it’s still entertaining to play with them for a few minutes, though their weaknesses quickly become evident.

私の研究室はジョゼフ・ワイゼンバウム教授のものであったことを覚えていますが、彼は夏の間不在であったのでオフィスを共有していたわけではありません。1966年初頭、ワイゼンバウムはElizaについての論文を発表しました。Elizaとは、ロジャース学派の心理学者との対話をシミュレートしたプログラムです。Elizaは自然言語を使ってコンピュータと対話する最初の試みの1つでした。少なくとも最初に出会ったときは驚くほど効果的で、訪問者に見せるのも楽しかったものです。今日、ウェブ上にはたくさんのElizaシミュレーターがあります。相手の弱点はすぐに明らかになりますが、数分間一緒にプレーするのは楽しいです。

なんとカーニハンはワイゼンバウムの夏季休暇の際の研究室の留守番役をしてたのですね。 この時点で既に ELIZA は人気の自然言語処理ソフトウェア(=ゲーム)であり、 ワイゼンバウムが不在でも訪問客が跡を立たず、代わりに若きカーニハンがデモをしていたということですか。

ELIZA: Please tell me what’s been bothering you.
YOU:   I’m trying to write a book about Unix.
ELIZA: Is it because you are trying to write a book about unix that you came to me?
YOU: Yes.
ELIZA: You are sure.
YOU: Yes.
ELIZA: You seem to be quite positive.
YOU: Yes.
ELIZA: I see.

ELIZA: 何が気になっているのか教えてください。
YOU:   Unixについての本を書こうとしています。
ELIZA: unixについての本を書こうとしているから私のところに来たの?
YOU:   はい。
ELIZA: 本当に?
YOU:   はい。
ELIZA: あなたはとても前向きなようですね。
YOU:   はい。
ELIZA: わかりました。

これ、デフォルトのスクリプトで動くんだろうか?

In the summer of 1967, I got the ultimate piece of good luck: an internship at Bell Labs in Murray Hill, in the Computing Science Research Center, working for Doug Mcllroy (Figure 1.4). Doug suggested that I explore some problem in evaluating memory allocators, one of his long-term interests. In the best intern tradition, I bumbled around and eventually did something completely different, creating a library of functions that made it convenient to do list processing in Fortran programs. I spent the summer writing tight assembly language for the then-current big computer at Murray Hill, a GE 635, which was in effect a cleaned-up and more orderly IBM 7094, but also a simpler version of the GE 645 that had been specially designed for Multics. That’s pretty much the last time I wrote assembly language. but even though what I was doing was fundamentally misguided. it was a blast and it hooked me completely on programming.

1967年の夏、私は最高の幸運に恵まれました。Murray Hillにある Bell Labs の Computing Science Research Center でのインターンシップで、Doug Mcllroy (図1.4) のために働いた。Dougは、彼の長期的な関心の1つであるメモリアロケーターを評価する際に、いくつかの問題を検討することを提案してくれました。インターンとしては最高のやり方で、いろいろと試してみましたが、最終的にはまったく違うことをして、Fortranプログラムでリスト処理をするのに便利な関数のライブラリーを作りました。私は夏を過ごして、当時現在の大きなコンピュータ、マレー・ヒルのきついアセンブリ言語を書いて過ごした頃、GE635は事実上片付けられ、より整然としたIBM7094でしたが、Multicsのために特別に設計されたGE645のもっと単純なバージョンもありました。私がアセンブリ言語を書いたのはこれが最後ですが、私がやっていたことは根本的に見当違いでした。これはすごいことで、私はすっかりプログラミングに夢中になってしまいました。

この「Fortranプログラムでリスト処理をするのに便利な関数のライブラリーを作った」との記述は、 ワイゼンバウムのMITでの最初の成果である SLIP) の実装を思い出させます。 カーニハンやワイゼンバウムに限らず、 リスト処理を念頭においた拡張ライブラリはこの時代の定番の研究テーマだったんでしょうかね?

それから、1967年の夏はベル研でのインターンシップを努めたとの事ですが、であればカーニハンはデニス・リッチーと事実上の同期だったようですね。 リッチーはハーバードからカーニハンはプリンストンから、1967年にベル研にインターンシップにやってきて、そのままベル研に就職したということですか。 もちろん二人とも学業優秀の秀才な訳ですが…彼らだけでは Unix はできなかったように思えてしまう。



ではケン・トンプソンはどういう経緯でベル研にやってきたのでしょうか? それはこの本の別のところに書いてあるようです。

以上

*1:Unixにも「目障りな敵は片っ端からやっつける」というヤンチャな時代があったという話。 1980年代にコンピュータを始めた僕らの世代には大きなカルチャー・ショックで、 その悪態ぶりのカッコよさに憧れて当時の僕は思わず飛び付いた感じだったのですが、 その後存在そのものが巨大化してしまいましたからねぇ。

*2:コマンド "awk" の K の人としても有名ですよね?

*3:カーニハンぐらいになると、どんな出版社でも書籍化に動くだろうにねぇ。 なんでまた KDP を使ったのだろうか?

これの日本語版の版権もカーニハン自身と交渉するのだろうか?
そんな奇特な出版社はあるのかなぁ?

*4:だから『Unix考古学』も書けた

*5:もちろん AILab は LISP を使っていたのでしょうが…

報告:ミニ勉強会

報告が遅くなってしまいましたが…
下記で告知した勉強会を開催しました。

告知(4)ミニ勉強会 - "Truth of the Legend" Notes

今回は京都ノートルダム女子大学が定例で行っている教員向けの研修会の時間をお借りしたこともあって、 勉強会の告知は幹事の吉田智子先生にお任せしたのですが、学外からの参加者もあって(僕的には)盛況だったように思います。

connpass.com

www.facebook.com

吉田先生から facebook に概要報告が出されてますが、 僕も「今回の勉強会では得る事が多かったな」と思っているところなので、 ここでは僕の個人的な感想(やその場では話せなかったこと)を書いておこうと思います。


今年はAIの社会実装の具体的なテーマとして「対話」が注目される

当日、僕はこのような予言めいた発言をしました。 「根拠は?」と問われると途端に口籠もっちゃうのですが、 平たく言えば業界40年の古狸の直感とでも言いましょうか(笑)

幾つか状況証拠をあげると…

  • 昨年の夏 "Chatbots Magazine" なるウェブ雑誌を見つけた。
  • 「チャットボット」や「人工無能」を銘打ったスマホアプリをチラホラ見かけるようになった。
  • 最近「チャットボット」だけでググるとやたら広告が表示される。

で、極め付けが国税庁の「税務相談チャットボット」です。

www.nta.go.jp

これ、チラッと触ってみたのですがね。

「この全く対話のないチャットボットってどうよ?」

というのが率直な感想。

こういう「それっぽい見かけ・体裁は整えてるけど、本来の主旨に沿った中身がない」事例が出てくる時、 誰かの作為が働いている…っていうか(お金儲けの)匂いがプンプンしてくるのですねぇ、僕は。つまり…

「チャットボットの商業活用のトレンドが本格化し始めている」

って感じてます *1

ローブナー賞 の 2000年、2001年、2004年の覇者である Alicebot(正式には A.L.I.C.E. (Artificial Linguistic Internet Computer Entity) ) の技術を使って構築された、チャットボット・ホスティング・サービス pandorabots が立ち上がったのは10年ほど前ですが、 前述のハイプサイクルに登場する AI PaaS を具体的にイメージすると この種のチャットボット構築サイトのように僕には思えます。 こういった目的限定型の PaaS(汎用スクリプト言語開発環境+目的に特化したAPI) が整備されるようになったことも(商用の)タスク限定型チャットボットの隆盛に一役買ってるのでは無いでしょうか? もっとも、今年レイズしそうなのは「力づくで無理やり流行らす」動きなんじゃないかと思うのですけども…

なんで…

ブームが本格化する前に「俺、2年前からチャットボットやってますけど、ブームとはあまり関係ない気の長い話ですからね」 って言っとかなくちゃと思ったのです。それが「1月に勉強会をどうやってもやっておきたかった」理由の1つ。


「何故、特定話者との傾聴対話なのか?」

勉強会では例によって僕が時間いっぱいくっちゃべり続けたので、 受け付けた質問は1件だけ。それが「何故、特定話者との傾聴対話なのか?」でした。

確か社会心理学の先生(すいません、お名前を失念してしまいました)だったと思うのですが、 「人間は他の2者の会話を見聞きして言語や会話を習得するというのが一般的な理解だが、 何故特定話者に着目するのか?」という質問だったと僕は記憶しています。 その場では seq2seq などの研究事例を踏まえ 「現在の自然言語処理研究でも『他の2者の会話を見聞きして』のアプローチが主流派だと思う」 と答えたのですけども、正直いうと自分の取り組みを、このような視点で考えたことがなかったので、 思わぬ「眼から鱗」の機会となりました。この指摘を受けただけでも勉強会をやった甲斐がありました。

勉強会でも少し触れましたが…

そもそも「認知症を患ってる母親を楽しませる返事をスマートスピーカーが返せないか?」という命題から対話システムに関心を持った僕にとって「会話=相手の話を丁寧に聞く=傾聴」だったので、暗黙のうちに「特定の話者との会話」を想定していたのですが、考えてみれば自然言語処理研究における対話システムとは「機械による自然言語やそれによる会話の習得」が第一義であることは自明です。つまり僕は「よく似てるけど目標が全く違う」テーマを追っかけていたわけです。

誰かから聞いた話によると「Google 翻訳に機械学習の技術を取り込むために開発した」 と言われている seq2seq は一般的な(自然)言語処理に広く活用できるとか。 「人間の発言に機械が応答する」チャットボットも seq2seq が応用できる技術分野なんだそうです。 ちなみに話題と少しズレてますが「機械学習の技術をチャットボットに応用する」テーマで わかりやすい説明が見つかったので、次に貼り付けて起きます。

qiita.com

今日の自然言語処理研究は既に統計学的アプローチが主流になっているそうですし、 上記のような具体的な手段が提示されていることから、この流れが益々拡大していくだろうと思います。 が、そこで問題になるのが機械学習ではお決まりの学習データ、すなわちコーパスの収集ということになります。 「対話」を学習するとなると「対話型のコーパス」が必要になりますが…最近ではググっると結構見つかったりします。

sites.google.com

あるいはこんなカタログもあります。

lionbridge.ai

例えば、対話のためのアルゴリズムを開発したり、 (ご指摘のあった)人間どおしの(基本的な)対話を習得するには、 これらの対話コーパスから始めるのは順当だと僕も理解しているのです。

でも…

僕が考えている傾聴ような「誰かに寄り添うような対話」を学習するという条件になると (自然言語処理の研究領域に納まるのかどうかわかりませんが)もっと上のレイアまで包含してるように思えます。

傾聴対話では対象となる人物の発言に注意深く耳を傾けることが求められます。 つまり平たく言えば「会話する」のと「お話をうかがう」の違いと言いましょうか。 以前「クライアント中心療法とは?」でも書きましたが、 ロジャース学派の対話術では、患者に対して「ひたすら肯定的に応対する」ことが求められますが、 同時に「対話を通じて患者からの信頼をより深めていく」ことも求められます。 このような話術を実践することは、実は人間でも非常に難しいのです。 そこで、このような傾聴対話が学習できるコーパスを探さなければならないと考えてきました。

その1例として見つけたのが、勉強会でも紹介した吉田さんの『ルート訪問記』です。 これは1990年代の連載当時、人気を博した彼女のインタビュー記事です。 国内で急速にインターネットが普及しつづあった当時、 その担い手であったネットワーク管理者の諸氏を相手に、 巧みな話術を駆使して「本当は喋っちゃいけない」事柄まで聞き出しちゃうという掟破りの連載でした。 ここで語られている内容は今ではいささか古びた技術トピックなんですけども、 傾聴対話のコーパスとしては十分に役立つように考えています *2

ちなみに、この種の有名な事例としては阿川佐和子さんの『聞く力』があります。

books.bunshun.jp

面白い感想文も見つけたのでそれも添えて紹介しておきます。 要約が、僕の「クライアント中心療法」の解説とよく似てるかも?

阿川さんの対談集も傾聴対話の良いコーパスになりそうですが、 版権が問題になりそうですねぇ。 ちなみに吉田さんの『ルート訪問記』は全文タダ *3で読めます。

最後に…

実は、この種の傾聴対話の研究ってあまり聞かないなぁ…って思ってたのですがさにあらず。 Wikipedia英語版で下記のページを見つけました。

en.wikipedia.org

人工共感(AE: Artificial Empathy)とは、人間の感情を検知し、それに反応することのできる、コンパニオンロボットなどのAIシステムの開発である。 科学者らによると、この技術は多くの人々から恐怖や脅威と受け取られているが、 医療分野のような感情的な役割を担う職業においては、人間よりも大きな利点を持つ可能性もあるという。

この要約、母親と対話する度に凹んでる今の僕には非常に実感的な説明です。 確かに「思い入れや感情が無いことが明確にプラスに働く仕事」もあるんだよなぁ…しみじみ思う今日この頃です。

以上

*1:…っていうことで、久しぶりにガードナーのハイプサイクルを見てみました。

ハイプサイクルは世界的なシンクタンクであるガードナーが毎年夏頃に公表する技術トレンドの分析 です。早い話がIT業界のトレンドレポートで、どちらかと言えば「以降1年間のトレンドを作り出す」側面が強くて、 IT企業は各社とも企画セクションの要員は必ずチラ見するような代物なんですがね。

2019年のハイプサイクルは下記のページで公開されています。

www.gartner.com

このパイプサイクルを見る限り「対話」はどこにも見当たらないのですが…

*2:勉強会のためにちょっと調べてみたのですが「なるほど」がもっとも頻繁に使われてました。 往年の吉田節を知る僕には文字通り「なるほど」の結果となりました。

*3:これも渋る編集者をゴネ倒して、全文公開を承諾させたのだとか…。 吉田さん、お手柄でした。

告知(4)ミニ勉強会

遅くなりましたが 「告知(3)」 で説明したミニ勉強会の件です。

京都ノートルダム女子大学吉田智子先生のご尽力により1/30に下記の予定で、 僕が現在進めている傾聴対話システムの概要を話す機会をいただきました。

connpass.com

この「FD勉強会」は、本来、京都ノートルダム女子大学の教職員の方々の勉強会ではあるのですが、 昨年、僕も講演させていただいたこともあって、今回は特に学外からの参加も可能としていただきました。

ちなみ、過去の僕の講演について吉田先生からは下記の紹介が公開されています。

notredameningen.kyo2.jp

当勉強会では、この講演の続編として傾聴対話のシステムの概要をお話したいと思います。

以上、よろしくお願いします。

告知(3)

令和最初の年の瀬をみなさんいかがお過ごしでしょうか?

緊急にお伝えしたい事ができたので、急遽告知を書くことにしました。良いニュースと悪いニュースがあります。

まずは良いニュースから…

編集部と相談して本ブログで公開している草稿をベースにした書籍を2020年中に出版すること(正確には出版を目指すこと)を決めました。 過去の『Unix考古学』での経験から想像すると、書籍が店頭に並ぶのはたぶん2020年の第4クォーターになると思います。

一方、悪いニュースは…

10月に告知した本ブログに関する勉強会なんですが、来年1月23日に開催する予定で調整を進めていたのですけども、会場を提供してくれるところから数日前に「勉強会を春先に順延できないか?」と要請があったので受け入れました。楽しみにしていた方(がいるとしたら)、すいません。数ヶ月順延させてください。 正直言うと、次の勉強会は何人か初めて御目にかかる方がいらっしゃりそうだったので僕も楽しみにしていたのですが… かかる事情なので今しばらくご容赦ください。

とはいえ…

書籍出版も含めたプロジェクト全体を俯瞰すると「むしろ、このスケジュールの方が良かったかもなぁ」とも考えています。

その最大の理由は次回作の主人公に選んだジョゼフ・ワイゼンバウムについて書くことの難しさにあります。 もちろん ELIZA の開発者であるワイゼンバウムは純然たる情報工学者ではあるのですが、 現在の彼に対するは評価の多くはその著作である "Computer Power and Human Reson" に対するものであり、 その内容は人工知能批判であり、その視点は「情報技術の進展が人間社会にどのような影響を与えるか?」といったもの、 すなわち今日の社会情報学の創始者のひとりとして高い評価を得ていることにあります。

この話は長くなりそうなので別の機会に譲りますが…

結果、ジョゼフ・ワイゼンバウム1点張りだった2018年10月に書籍企画の著者原案に大きく手を入れ、 ELIZA から始まる対話システムの系譜に話題の軸を移した修正案をまとめました。 (おそらく)春先には、この新しいシナリオに沿った書籍原稿の頭出しが終わっている(はず)なので、 その概要とそこから漏れたトピックでお話ができるだろうと考えています。

もうひとつお伝えしておきたいことは…

当初案では、次回作では『Unix考古学』連載時に掲載していた 実習編を復活させることをもうひとつの目標としていましたが、 修正案では現在の「ブログでの公開」方式とすることにしました。 それは「紙ベースの書籍にしてしまうとアンカーとかが欠落してしまい利便性が落ちる」という主に実利的な理由からです。 それに著者原稿をアップしてから実際に出版されるまでに数ヶ月ほど間が開いてしまうので、 その時間を使ってブログで執筆すれば良いですしね。

で、最後に残った問題が…

今 Rakuten MA の解説まで進めているブログの方をどうするか?です。 本来は1月23日の勉強会で簡単なデモをした上で(書籍執筆に集中するため) 一旦休止するつもりだったのですが…

ということで、今、1月23日 or 24日に京都で、 ちょっとしたデモを機会が作れないか探っています。 年の瀬も押し迫ったこの時期なので詳細を公表できるのは年明けなるでしょうが、 まぁ、京都開催なので多くの人には関係ない話でしょうね。

…って言うわけで、良い話と悪い話の緊急告知でした。

ともあれ、みなさま、良い年をお迎えください。

以上

ELIZA NG(3)Rakuten MAでmecab-ipadic-neologdを学習する

How to use Rakuten MA, which may be a little difficult for monkeys


2019/12/26
藤田昭人


クリスマスに間に合わなかった…

前回 は Rakuten MA の基本的な使い方について紹介しました。 非常にコンパクトな形態素解析器として Rakuten MA は便利なライブラリです。 が、実際に形態素解析を行うと、その結果に「あれ?」と思う事が稀にあります。 「おそらく付属の日本語解析モデルに問題があるのだろう…」 と想像した僕は 「定評のある mecab-ipadic-neologd を使えないものだろうか?」 と考えました。

本稿ではその方法を紹介します。


mecabmecab-ipadic-neologd について

ということで、まずは mecabmecab-ipadic-neologd を動かさないといけないのですが…

定番の形態素解析システムである mecabmecab-ipadic-neologd について、 ここで改めて紹介することはないでしょう。各々のホームページ(?)は以下のようです。

taku910.github.io

github.com

そのインストール方法もはてなブログや Qiita に多数記事があるので、 ご自分の環境に合わせて適当な記事を参考にしてください。 ちなみに Mac Book Pro を使っている僕は次の記事の手順にしたがってインストールしました。

qiita.com

今のところ特に問題は出ていません。

必要なセットアップのあと、次のとおり mecab を動かしてみました。 例文は前回紹介した「やさしい日本語」コーパスの冒頭の3文を使いましたが、 NEologd が動いていることを確かめたくて一部を「渡辺謙」に差し替えました。

$ cat test.txt
誰が一番に着くか私には分かりません。
私は渡辺謙です。
エミは幸せそうに見えます。
$ mecab -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd test.txt
誰 名詞,代名詞,一般,*,*,*,誰,ダレ,ダレ
が 助詞,格助詞,一般,*,*,*,が,ガ,ガ
一番  名詞,副詞可能,*,*,*,*,一番,イチバン,イチバン
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
着く  動詞,自立,*,*,五段・カ行イ音便,基本形,着く,ツク,ツク
か 助詞,副助詞/並立助詞/終助詞,*,*,*,*,か,カ,カ
私 名詞,代名詞,一般,*,*,*,私,ワタシ,ワタシ
に 助詞,格助詞,一般,*,*,*,に,ニ,ニ
は 助詞,係助詞,*,*,*,*,は,ハ,ワ
分かり   動詞,自立,*,*,五段・ラ行,連用形,分かる,ワカリ,ワカリ
ませ  助動詞,*,*,*,特殊・マス,未然形,ます,マセ,マセ
ん 助動詞,*,*,*,不変化型,基本形,ん,ン,ン
。 記号,句点,*,*,*,*,。,。,。
EOS
私 名詞,代名詞,一般,*,*,*,私,ワタシ,ワタシ
は 助詞,係助詞,*,*,*,*,は,ハ,ワ
渡辺謙   名詞,固有名詞,人名,一般,*,*,渡辺謙,ワタナベケン,ワタナベケン
です  助動詞,*,*,*,特殊・デス,基本形,です,デス,デス
。 記号,句点,*,*,*,*,。,。,。
EOS
エミ  名詞,固有名詞,人名,名,*,*,エミ,エミ,エミ
は 助詞,係助詞,*,*,*,*,は,ハ,ワ
幸せ  名詞,形容動詞語幹,*,*,*,*,幸せ,シアワセ,シアワセ
そう  名詞,接尾,助動詞語幹,*,*,*,そう,ソウ,ソー
に 助詞,副詞化,*,*,*,*,に,ニ,ニ
見え  動詞,自立,*,*,一段,連用形,見える,ミエ,ミエ
ます  助動詞,*,*,*,特殊・マス,基本形,ます,マス,マス
。 記号,句点,*,*,*,*,。,。,。
EOS
$

ちなみに -d オプションで指定する NEologd のインストール位置はインストール時に任意に選べますので、 実際にどこへインストールされているかは mecab-config --dicdir コマンドで確かめてください。


ちょっと試してみた

実は当初は mecab が出力する品詞情報を Rakuten MA が使用する日本語品詞タグと対応づけることを考えたのですが、 Rakuten MA の日本語品詞タグの定義を解説するドキュメントがなかなか見つけられず*1… そのうち面倒臭くなってきて「この際、まんまブッ込んでみたら案外上手くいくかも…」と思い立ち、 次のようなコードを書いたのでした。

var fs = require('fs');
var RakutenMA = require('rakutenma');
var rma = new RakutenMA();
rma.featset = RakutenMA.default_featset_ja;

var mecab = [
  [
    [ "誰", "名詞,代名詞,一般,*,*,*,誰,ダレ,ダレ" ],
    [ "が", "助詞,格助詞,一般,*,*,*,が,ガ,ガ" ],
    [ "一番", "名詞,副詞可能,*,*,*,*,一番,イチバン,イチバン" ],
    [ "に", "助詞,格助詞,一般,*,*,*,に,ニ,ニ" ],
    [ "着く", "動詞,自立,*,*,五段・カ行イ音便,基本形,着く,ツク,ツク" ],
    [ "か", "助詞,副助詞/並立助詞/終助詞,*,*,*,*,か,カ,カ" ],
    [ "私", "名詞,代名詞,一般,*,*,*,私,ワタシ,ワタシ" ],
    [ "に", "助詞,格助詞,一般,*,*,*,に,ニ,ニ" ],
    [ "は", "助詞,係助詞,*,*,*,*,は,ハ,ワ" ],
    [ "分かり", "動詞,自立,*,*,五段・ラ行,連用形,分かる,ワカリ,ワカリ" ],
    [ "ませ", "助動詞,*,*,*,特殊・マス,未然形,ます,マセ,マセ" ],
    [ "ん", "助動詞,*,*,*,不変化型,基本形,ん,ン,ン" ],
    [ "。", "記号,句点,*,*,*,*,。,。,。" ]
  ],
  [
    [ "私", "名詞,代名詞,一般,*,*,*,私,ワタシ,ワタシ" ],
    [ "は", "助詞,係助詞,*,*,*,*,は,ハ,ワ" ],
    [ "渡辺謙", "名詞,固有名詞,人名,一般", "*,*,渡辺謙,ワタナベケン,ワタナベケン" ],
    [ "です", "助動詞,*,*,*,特殊・デス,基本形,です,デス,デス" ],
    [ "。", "記号,句点,*,*,*,*,。,。,。" ]
  ],
  [
    [ "エミ", "名詞,固有名詞,人名,名,*,*,エミ,エミ,エミ" ],
    [ "は", "助詞,係助詞,*,*,*,*,は,ハ,ワ" ],
    [ "幸せ", "名詞,形容動詞語幹,*,*,*,*,幸せ,シアワセ,シアワセ" ],
    [ "そう", "名詞,接尾,助動詞語幹,*,*,*,そう,ソウ,ソー" ],
    [ "に", "助詞,副詞化,*,*,*,*,に,ニ,ニ" ],
    [ "見え", "動詞,自立,*,*,一段,連用形,見える,ミエ,ミエ" ],
    [ "ます", "助動詞,*,*,*,特殊・マス,基本形,ます,マス,マス" ],
    [ "。", "記号,句点,*,*,*,*,。,。,。" ]
  ]
];

for (var j = 0; j < 2; j++) {
  for (var i = 0; i < mecab.length; i ++) {
    rma.train_one(mecab[i]);
  }
}

console.log(rma.tokenize("誰が一番に着くか私には分かりません。"));
console.log(rma.tokenize("私は渡辺謙です。"));
console.log(rma.tokenize("エミは幸せそうに見えます。"));

で、これを動かしてみたら…

$ node TinyTest.js
[ [ '誰', '名詞,代名詞,一般,*,*,*,誰,ダレ,ダレ' ],
  [ 'が', '助詞,格助詞,一般,*,*,*,が,ガ,ガ' ],
  [ '一番', '名詞,副詞可能,*,*,*,*,一番,イチバン,イチバン' ],
  [ 'に', '助詞,格助詞,一般,*,*,*,に,ニ,ニ' ],
  [ '着く', '動詞,自立,*,*,五段・カ行イ音便,基本形,着く,ツク,ツク' ],
  [ 'か', '助詞,副助詞/並立助詞/終助詞,*,*,*,*,か,カ,カ' ],
  [ '私', '名詞,代名詞,一般,*,*,*,私,ワタシ,ワタシ' ],
  [ 'に', '助詞,格助詞,一般,*,*,*,に,ニ,ニ' ],
  [ 'は', '助詞,係助詞,*,*,*,*,は,ハ,ワ' ],
  [ '分かり', '動詞,自立,*,*,五段・ラ行,連用形,分かる,ワカリ,ワカリ' ],
  [ 'ませ', '助動詞,*,*,*,特殊・マス,未然形,ます,マセ,マセ' ],
  [ 'ん', '助動詞,*,*,*,不変化型,基本形,ん,ン,ン' ],
  [ '。', '記号,句点,*,*,*,*,。,。,。' ] ]
[ [ '私', '名詞,代名詞,一般,*,*,*,私,ワタシ,ワタシ' ],
  [ 'は', '助詞,係助詞,*,*,*,*,は,ハ,ワ' ],
  [ '渡辺謙', '名詞,固有名詞,人名,一般' ],
  [ 'です', '助動詞,*,*,*,特殊・デス,基本形,です,デス,デス' ],
  [ '。', '記号,句点,*,*,*,*,。,。,。' ] ]
[ [ 'エミ', '名詞,固有名詞,人名,名,*,*,エミ,エミ,エミ' ],
  [ 'は', '助詞,係助詞,*,*,*,*,は,ハ,ワ' ],
  [ '幸せ', '名詞,形容動詞語幹,*,*,*,*,幸せ,シアワセ,シアワセ' ],
  [ 'そう', '名詞,接尾,助動詞語幹,*,*,*,そう,ソウ,ソー' ],
  [ 'に', '助詞,副詞化,*,*,*,*,に,ニ,ニ' ],
  [ '見え', '動詞,自立,*,*,一段,連用形,見える,ミエ,ミエ' ],
  [ 'ます', '助動詞,*,*,*,特殊・マス,基本形,ます,マス,マス' ],
  [ '。', '記号,句点,*,*,*,*,。,。,。' ] ]
$ 

この出力を見て「あ、なんか上手くいってるのかも?」などと思ったのですが…
世の中、そんなには甘くない。


IPADICの品詞IDの話

そこで「やさしい日本語」コーパスの5万文について mecab-ipadic-neologd の出力を品詞情報とした学習データを作成し、 前回紹介した「オリジナルの解析モデルの学習」のコードに突っ込んでみたのですが…学習にムッチャ時間がかかるので断念。 文例が3つ、4つでは問題にはならない訳ですが、さすがに5万文もあると無理なようです。

そこで更に調べてみたところ…

文字どおり mecab-ipadic-neologd は IPADIC の IPA品詞体系に依拠しているそうで、 出力の最初の4項目は「品詞、品詞再分類1、品詞再分類2、品詞再分類3」を示すそうです。 詳細は次のページをご覧ください。

hayashibe.jp

mecab-ipadic-neologd の品詞情報は "/usr/local/lib/mecab/dic/mecab-ipadic-neologd/pos-id.def" で定義され、全部で69種類しかないそうです。 ちなみに定義ファイル pos-id.def の中身は次のとおり。

その他,間投,*,* 0
フィラー,*,*,* 1
感動詞,*,*,* 2
記号,アルファベット,*,* 3
記号,一般,*,* 4
記号,括弧開,*,* 5
記号,括弧閉,*,* 6
記号,句点,*,* 7
記号,空白,*,* 8
記号,読点,*,* 9
形容詞,自立,*,* 10
形容詞,接尾,*,* 11
形容詞,非自立,*,* 12
助詞,格助詞,一般,* 13
助詞,格助詞,引用,* 14
助詞,格助詞,連語,* 15
助詞,係助詞,*,* 16
助詞,終助詞,*,* 17
助詞,接続助詞,*,* 18
助詞,特殊,*,* 19
助詞,副詞化,*,* 20
助詞,副助詞,*,* 21
助詞,副助詞/並立助詞/終助詞,*,* 22
助詞,並立助詞,*,* 23
助詞,連体化,*,* 24
助動詞,*,*,* 25
接続詞,*,*,* 26
接頭詞,形容詞接続,*,* 27
接頭詞,数接続,*,* 28
接頭詞,動詞接続,*,* 29
接頭詞,名詞接続,*,* 30
動詞,自立,*,* 31
動詞,接尾,*,* 32
動詞,非自立,*,* 33
副詞,一般,*,* 34
副詞,助詞類接続,*,* 35
名詞,サ変接続,*,* 36
名詞,ナイ形容詞語幹,*,* 37
名詞,一般,*,* 38
名詞,引用文字列,*,* 39
名詞,形容動詞語幹,*,* 40
名詞,固有名詞,一般,* 41
名詞,固有名詞,人名,一般 42
名詞,固有名詞,人名,姓 43
名詞,固有名詞,人名,名 44
名詞,固有名詞,組織,* 45
名詞,固有名詞,地域,一般 46
名詞,固有名詞,地域,国 47
名詞,数,*,* 48
名詞,接続詞的,*,* 49
名詞,接尾,サ変接続,* 50
名詞,接尾,一般,* 51
名詞,接尾,形容動詞語幹,* 52
名詞,接尾,助数詞,* 53
名詞,接尾,助動詞語幹,* 54
名詞,接尾,人名,* 55
名詞,接尾,地域,* 56
名詞,接尾,特殊,* 57
名詞,接尾,副詞可能,* 58
名詞,代名詞,一般,* 59
名詞,代名詞,縮約,* 60
名詞,動詞非自立的,*,* 61
名詞,特殊,助動詞語幹,* 62
名詞,非自立,一般,* 63
名詞,非自立,形容動詞語幹,* 64
名詞,非自立,助動詞語幹,* 65
名詞,非自立,副詞可能,* 66
名詞,副詞可能,*,* 67
連体詞,*,*,* 68

各行の右端にあるのが品詞ID。 詳細は mecab のマニュアルの次のページに書いてありました。

taku910.github.io

つまり、次のようなコマンドオプションを指定すると mecab は品詞IDを出力してくれるそうです。

$ mecab -F"%m\t%h\n" -E"EOS\n" 
今日もしないとね。
今日    67
も      16
し      31
ない    25
と      18
ね      17
。
EOS
$ 

…ってことは、Rakuten MAの日本語品詞タグの代わりにmecabの品詞IDを格納すれば良いってことになりますね。


mecab-ipadic-neologd を使ってRakuten MAの辞書を作る

と言うことで…

前回紹介したRakuten MAのモデル生成手順を一部修正して、 mecab-ipadic-neologd による解析モデルを生成してみます。

学習データの生成: mecab+mecab-ipadic-neologd で形態素解析

まず、前回紹介した「やさしい日本語」コーパスから mecab 用の入力ファイル "T15-2018.2.28-easy.txt" を作成して、次のコマンドを実行し、 "T15-2018.2.28-mecab-posid.txt" ました。

$ mecab -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd -F"%m\t%h\n" -E"EOS\n"  T15-2018.2.28-easy.txt > T15-2018.2.28-mecab-posid.txt
$ head -20 T15-2018.2.28-mecab-posid.txt
誰 59
が 13
一番  67
に 13
着く  31
か 22
私 59
に 13
は 16
分かり   31
ませ  25
ん 25
。 7
EOS
多く  67
の 24
動物  38
が 13
人間  38
によって    15
$ 

次に、この出力ファイルを取り込んで JSON フォーマットの学習データを生成する "mecabid2json.js" を作成しました。コードは次のとおりです。

var fs = require('fs');
const name = "T15-2018.2.28-mecab-posid";
var whole = fs.readFileSync(name+".txt");
var lines = whole.toString().split('\n');

var out = [];
var sentence = [];
for (var i = 0; i < lines.length; i++) {
    var line = lines[i];
    //console.log(("     "+i).slice(-5)+": "+line);
    if (line == "EOS") {
        out.push(sentence);
        sentence = [];
    } else {
        var tokens = line.split('\t');
        var elm = [];
        elm[0] = tokens[0];
        elm[1] = tokens[1];
        sentence.push(elm);
    }
}

fs.writeFile(name+".json", JSON.stringify(out, undefined, 2), 
function(err, result) {
    if (err) console.log('error', err);
});

ここまでくれば、あとは前回紹介した手順で解析モデルを生成できますね。 繰り返しになりますが、コードを紹介しておくと…


オリジナルの解析モデルの学習

前項で生成した "T15-2018.2.28-mecab-posid.json" を使って、オリジナルの解析モデルを生成します。 次のオンライン機械学習をするコードを書きました。

var fs = require('fs');
var RakutenMA = require('rakutenma');
rma = new RakutenMA();
rma.featset = RakutenMA.default_featset_ja;
rma.hash_func = RakutenMA.create_hash_func(15);

var rcorpus = JSON.parse(fs.readFileSync("T15-2018.2.28-mecab-posid.json"));

console.error( "total sents = " + rcorpus.length );

const iter = 1;

for (var k = 0; k < iter; k ++) {
    console.error("iter = " + k);
    for (var i = 0; i < rcorpus.length; i++) {
        var res = rma.train_one(rcorpus[i]);
        if (i % 100 == 0)
            console.error("  train i = " + i);
    }
}

fs.writeFile("learn-neologd.json", JSON.stringify(rma.model), 
function(err, result) {
    if (err) console.log('error', err);
});

生成される解析モデル "learn-neologd.json" はRakuten MAに添付される "model_ja.json" と同様に使えますし、 前回紹介したモデル圧縮の "minify.js" も使えますが、 語句と共に出力されるのは mecab の品詞ID であることに注意してください。

var whole = [
    "誰が一番に着くか私には分かりません。",
    "私は渡辺謙です。",
    "エミは幸せそうに見えます。"
];

var fs = require('fs');
var RakutenMA = require('rakutenma');
var model = JSON.parse(fs.readFileSync("learn-neologd.json"));
var rma = new RakutenMA(model, 1024, 0.007812);
rma.featset = RakutenMA.default_featset_ja;
rma.hash_func = RakutenMA.create_hash_func(15);

for (var i = 0; i < whole.length; i++) {
    console.log(rma.tokenize(whole[i]));
}

例えば、上記のコードを実行すると、次のようになります。

$ node print-neologd.js
[ [ '誰', '59' ],
  [ 'が', '13' ],
  [ '一番', '67' ],
  [ 'に', '13' ],
  [ '着く', '31' ],
  [ 'か', '22' ],
  [ '私', '59' ],
  [ 'に', '13' ],
  [ 'は', '16' ],
  [ '分かり', '31' ],
  [ 'ませ', '25' ],
  [ 'ん', '25' ],
  [ '。', '7' ] ]
[ [ '私', '59' ],
  [ 'は', '16' ],
  [ '渡辺謙', '41' ],
  [ 'です', '25' ],
  [ '。', '7' ] ]
[ [ 'エミ', '44' ],
  [ 'は', '16' ],
  [ '幸せ', '40' ],
  [ 'そう', '54' ],
  [ 'に', '20' ],
  [ '見え', '31' ],
  [ 'ます', '25' ],
  [ '。', '7' ] ]
$ 

ちなみに同じデータをmecabで品詞IDを表示させると…

$ cat test.txt
誰が一番に着くか私には分かりません。
私は渡辺謙です。
エミは幸せそうに見えます。
$ mecab -d /usr/local/lib/mecab/dic/mecab-ipadic-neologd -F"%m\t%h\n" -E"EOS\n" test.txt
誰 59
が 13
一番  67
に 13
着く  31
か 22
私 59
に 13
は 16
分かり   31
ませ  25
ん 25
。 7
EOS
私 59
は 16
渡辺謙   42
です  25
。 7
EOS
エミ  44
は 16
幸せ  40
そう  54
に 20
見え  31
ます  25
。 7
EOS
$ 

どうやら上手くいったようです。


おわりに

本稿では Rakuten MA で mecab-ipadic-neologd を使う方法を紹介しました。

ちなみに全部で5万文の「やさしい日本語」コーパスについて Rakuten MA のオリジナルの解析モデルと mecab-ipadic-neologd による解析モデルの各々を使って 分かち書きをしてみたところ 17809 文(約36%)では相違点が見つかりました。 その例を少し示すと…

1: 多くの動物が人間によって殺された。
[ [ '多く', 'N-nc' ],
  [ 'の', 'P-k' ],
  [ '動物', 'N-nc' ],
  [ 'が', 'P-k' ],
  [ '人間', 'N-nc' ],
  [ 'に', 'P-k' ],
  [ 'よっ', 'V-c' ],
  [ 'て', 'P-sj' ],
  [ '殺さ', 'V-c' ],
  [ 'れ', 'X' ],
  [ 'た', 'X' ],
  [ '。', 'M-p' ] ]
多く  名詞,副詞可能,*,*,*,*,多く,オオク,オーク
の     助詞,連体化,*,*,*,*,の,ノ,ノ
動物  名詞,一般,*,*,*,*,動物,ドウブツ,ドーブツ
が     助詞,格助詞,一般,*,*,*,が,ガ,ガ
人間  名詞,一般,*,*,*,*,人間,ニンゲン,ニンゲン
によって    助詞,格助詞,連語,*,*,*,によって,ニヨッテ,ニヨッテ
殺さ  動詞,自立,*,*,五段・サ行,未然形,殺す,コロサ,コロサ
れ     動詞,接尾,*,*,一段,連用形,れる,レ,レ
た     助動詞,*,*,*,特殊・タ,基本形,た,タ,タ
。     記号,句点,*,*,*,*,。,。,。

5: 彼女は私たちの世話をしてくれる。
[ [ '彼女', 'D' ],
  [ 'は', 'P-rj' ],
  [ '私', 'D' ],
  [ 'たち', 'Q-n' ],
  [ 'の', 'P-k' ],
  [ '世話', 'N-nc' ],
  [ 'を', 'P-k' ],
  [ 'し', 'V-dp' ],
  [ 'て', 'P-sj' ],
  [ 'くれる', 'V-dp' ],
  [ '。', 'M-p' ] ]
彼女  名詞,代名詞,一般,*,*,*,彼女,カノジョ,カノジョ
は     助詞,係助詞,*,*,*,*,は,ハ,ワ
私たち   名詞,固有名詞,一般,*,*,*,私たち,ワタシタチ,ワタシタチ
の     助詞,連体化,*,*,*,*,の,ノ,ノ
世話  名詞,サ変接続,*,*,*,*,世話,セワ,セワ
を     助詞,格助詞,一般,*,*,*,を,ヲ,ヲ
し     動詞,自立,*,*,サ変・スル,連用形,する,シ,シ
て     助詞,接続助詞,*,*,*,*,て,テ,テ
くれる   動詞,非自立,*,*,一段・クレル,基本形,くれる,クレル,クレル
。     記号,句点,*,*,*,*,。,。,。

確かに違いがありますが、 国語の専門家ではない僕にはどちらが正しい分割なのかよくわからないのが正直なところです(笑)

また mecab の「品詞IDの定義」で、"pos-id.def"の以下の部分に非常に興味が湧きました。

名詞,固有名詞,一般,* 41
名詞,固有名詞,人名,一般 42
名詞,固有名詞,人名,姓 43
名詞,固有名詞,人名,名 44
名詞,固有名詞,組織,* 45
名詞,固有名詞,地域,一般 46
名詞,固有名詞,地域,国 47

…というのも、次のブログで紹介されているように「固有表現」という概念があるそうです。

heat02zero.hatenablog.com

これを読むと mecab の品詞IDの固有名詞の区分は「人名」「地名」「組織名」「その他の固有表現」を意識したものではないかと考えました。

僕的には、そもそも ELIZA をベースにした対話システムの人間側の発話の形態素解析のために Rakuten MA に注目したこともあって、 その固有名詞が「人名」や「場所」、その他の様々な意味を示す言葉であることまでわかると 「ELIZA スクリプトが書きやすくなるなるだろうなぁ…」などと考えてます。

…ということで

今後は "learn-neologd.json" の方を使っていこうかと、考えています。

以上

*1:ご存知の方、教えてください。

ELIZA NG(2)やさしい Rakuten MA

Rakuten MA understand even monkeys


2019/12/19
藤田昭人


年の瀬は何かと仕事が降り注いできて…

本稿ではピュア JavaScript でコンパクトな形態素解析システムである Rakuten MA のレクチャーをします。 対話システムに限らず日本語の自然言語処理では、ほぼ必須の形態素解析。 僕のELIZA実装ではスマートスピーカーへの搭載も念頭においているので出来るだけコンパクトなエンジンを望むところです。 そういった意向もあって以前紹介した 日本語化ELIZA では TinySegmenter を使いました。これ、ピュア JavaScript なシステムで大変便利だったのですが、 ほぼ唯一の難点は学習機能がないこと。実は TinySegmenter用の学習ツール も紹介されていることから「これで頑張るのかな?」と思っていたのですが…


Rakuten MA について

…と思っていたのですが、こちらの意図を見透かしような Rakuten MA がリリースされてました。

github.com

日本語版README もあります。もちろん npm にも登録されてるので…

www.npmjs.com

普通に nodejs/npm の実行環境がインストールされていれば、以下のように普通に利用できます。 Unix環境であればこんな感じ…

$ npm install rakutenma
$ ( cd node_modules/rakutenma; node demo.js )
[ [ '彼', '' ],
  [ 'は', '' ],
  [ '新', '' ],
  [ 'し', '' ],
  [ 'い', '' ],
  [ '仕', '' ],
  [ '事', '' ],
  [ 'で', '' ],
  [ 'き', '' ],
  [ 'っ', '' ],
  [ 'と', '' ],
  [ '成', '' ],
  [ '功', '' ],
  [ 'す', '' ],
  [ 'る', '' ],
  [ 'だ', '' ],
  [ 'ろ', '' ],
  [ 'う', '' ],
  [ '。', '' ] ]
[ [ '彼', 'N-nc' ],
  [ 'は', 'P-k' ],
  [ '新し', 'V-c' ],
  [ 'い', 'P-k' ],
  [ '仕事', 'N-nc' ],
  [ 'で', 'P-k' ],
  [ 'きっ', 'N-nc' ],
  [ 'と', 'P-rj' ],
  [ '成功', 'N-nc' ],
  [ 'す', 'P-k' ],
  [ 'るだ', 'V-c' ],
  [ 'ろう', 'X' ],
  [ '。', 'M-p' ] ]
[ [ 'うらにわ', 'N-nc' ],
  [ 'に', 'P-k' ],
  [ 'は', 'P-rj' ],
  [ 'にわにわとり', 'N-nc' ],
  [ 'が', 'P-k' ],
  [ 'いる', 'V-dp' ] ]
{ ans:
   [ [ 'うらにわ', 'N-nc' ],
     [ 'に', 'P-k' ],
     [ 'は', 'P-rj' ],
     [ 'にわ', 'N-n' ],
     [ 'にわとり', 'N-nc' ],
     [ 'が', 'P-k' ],
     [ 'いる', 'V-c' ] ],
  sys:
   [ [ 'うらにわ', 'N-nc' ],
     [ 'に', 'P-k' ],
     [ 'は', 'P-rj' ],
     [ 'にわにわとり', 'N-nc' ],
     [ 'が', 'P-k' ],
     [ 'いる', 'V-dp' ] ],
  updated: true }
[ [ 'うらにわ', 'N-nc' ],
  [ 'に', 'P-k' ],
  [ 'は', 'P-rj' ],
  [ 'にわ', 'N-n' ],
  [ 'にわとり', 'N-nc' ],
  [ 'が', 'P-k' ],
  [ 'いる', 'V-c' ] ]
$

これは添付されてる demo.js の実行例ですが、何を実行しているのかは README に解説があります。


Rakuten MA の特徴

また README によれば Rakuten MA には次の特徴があるそうです。

  • 100% JavaScript による実装。ほとんどのブラウザや Node.js 上で動きます。
  • 言語非依存の文字単位タグ付けモデルを採用。日本語・中国語の単語の分かち書きおよび品詞付与ができます。
  • オンライン機械学習 (Soft Confidence Weighted, Wang et al. ICML 2012) を使い、解析モデルの差分アップデートが可能。
  • 素性セットのカスタマイズが可能。
  • モデルサイズ削減のため、素性ハッシング、量子化、フィルタリングをサポート。
  • 一般分野のコーパス (BCCWJ [Maekawa 2008] と CTB [Xue et al. 2005]) およびネットショッピング分野のコーパスから学習したモデルを同梱。

…ってことなんですけど、これNLP自然言語処理)の専門家向けのショートコメントですよね?

僕のような門外漢には「わかったような?わからないような?」といった説明だったりします。  なので、参考書を少し。そもそも、現在の形態素解析では ビタビアルゴリズムViterbi algorithm) が使われているそうです。これ、かな漢字変換以来のアルゴリズムなんだそうで、 ちょっと古いですが、次の本に丁寧な説明があります。

gihyo.jp

ちなみに、この本は自然言語処理分野への機械学習の活用に関わる基礎知識が網羅されてるので「非常にお買い得な一冊」のように僕には見えます。

形態素解析を本格的に勉強したい人向けには、 有名な MeCab の開発者である工藤 拓さんが次の技術解説書を出しておられるとのことです。

bookmeter.com

以上、形態素解析に関する突っ込んだ説明は上記2冊にお任せして、 以降は Rakuten MA の使い方について具体的な紹介をします。


Rakuten MA を使ったサンプルコード

Rakuten MAの README は網羅的ですがコンパクトな説明ですし、 開発者が書いた論文 も比較的短く、どちらかというと専門家が効率よく読むようにできてます。 各機能ついては「箇条書きが3〜4行」の説明だけなので、 「ノービスユーザー向けのコードサンプルがあれば良いのに…」と思い立ち 勝手に書き下ろした JavaScript のサンプルコードを掲載することにしました。 各機能はちゃんと動いているようですが…もしチョンボがあったらコメントください。


準備: サンプルコードで使用する学習データについて

もちろん、機械学習を動かすので学習データが必要になります。対話システムに活用したいので 「日常生活に必要な平易な表現が中心」 「できれば1万件以上のエントリがある学習データが欲しい」 という条件で探した結果、次のデータを使うことにしました *1

www.jnlp.org

これは在日外国人の方々の日本語習得を目的としたコーパスなんだそうで、 日本人の慣用表現とやさしい日本語、英訳の3つが併記された、 全部で5万の短めの文章のセットになっています。

データは MS Excel の xlsx ファイルの形式でダウンロードできます。 が、そのままでは取り扱いが面倒なので、 僕は次のコードを書いて json に変換して使っています。

const name = "T15-2018.2.28";

const XLSX  = require("xlsx");
const Utils = XLSX.utils;
const book  = XLSX.readFile(name+".xlsx");
const sheet_name_list = book.SheetNames;
const sheet = book.Sheets[sheet_name_list[0]];

var whole = Utils.sheet_to_json(sheet);

var out = [];
for (var i = 0; i < whole.length; i++) {
    var elm = {};
    elm.id = i;
    elm.regular  = whole[i]['#日本語(原文)'];
    elm.easy     = whole[i]['#やさしい日本語'];
    elm.english  = whole[i]['#英語(原文)'];
    out.push(elm);
}

var fs = require('fs');

fs.writeFile(name+".json",
    JSON.stringify(out, null, 2), function(err, result) {
    if (err) console.log('error', err);
});

動かす手順は以下のとおり。

$ npm install rakutenma
$ npm install xlsx
$ 
$ cat > xlsx2json.js 
$ node xlsx2json.js
$ ls -l T15*
-rw-r--r--@ 1 fujita  staff  10117994 12 10 15:02 T15-2018.2.28.json
-rw-r--r--@ 1 fujita  staff   3547209 11 30 19:55 T15-2018.2.28.xlsx
$ 

見てのとおり、json に変換するとデータ量は3倍ぐらいに膨れます。



以降、Rakuten MAのREADMEにある箇条書きの説明を引用し、 それどおりに実装したコードを掲載する形式で説明します。 コード自体はプログラミングさえできれば誰でも実装できるレベルの内容です。 課題に追われている学部生諸君はコピペでお使いください(笑) *2


学習済みモデルを使って日本語・中国語の文を解析

まず、リリースに同梱されている解析モデルを使って形態素解析をします。

  1. 以下のように、学習済みモデルをロード model = JSON.parse(fs.readFileSync("model_file")); し、 rma = new RakutenMA(model); もしくは rma.set_model(model); としてモデルをセットします。
  2. featset を言語に応じて設定します (例:日本語の場合、rma.featset = RakutenMA.default_featset_ja; 中国語の場合、rma.featset = RakutenMA.default_featset_zh;)
  3. 同梱モデル (model_zh.jsonmodel_ja.json) を使用する場合、15ビットの素性ハッシング関数をセットすることを忘れずに (rma.hash_func = RakutenMA.create_hash_func(15);)
  4. rma.tokenize(input) を使って、入力文を解析します。

ここでは先に紹介したコーパスのうち「やさしい日本語」5万文を入力にしたサンプルを書きました。 こんな感じ…

const name = "T15-2018.2.28";
var fs = require('fs');
var whole = JSON.parse(fs.readFileSync(name+".json"));

var RakutenMA = require('rakutenma');
var model = JSON.parse(fs.readFileSync("node_modules/rakutenma/model_ja.json"));
var rma = new RakutenMA(model, 1024, 0.007812);
rma.featset = RakutenMA.default_featset_ja;
rma.hash_func = RakutenMA.create_hash_func(15);

var out = [];
for (var i = 0; i < whole.length; i++) {
    out.push(rma.tokenize(whole[i].easy));
    if (i % 100 == 0) console.error("  tokenize i = " + i);
}

fs.writeFile("learndatabase.json",
    JSON.stringify(out, undefined, 2), function(err, result) {
    if (err) console.log('error', err);
});

このコードを実行すると "learndatabase.json" というデータファイルが生成されます。


オリジナルの解析モデルの学習

前項で生成した "learndatabase.json" を使って、オリジナルの解析モデルを生成します。

  1. 学習用コーパス ([トークン, 品詞タグ]の配列からなる学習用の文の配列) を準備します。
  2. new RakutenMA() として Rakuten MA のインスタンスを初期化します。
  3. featsetを (必要に応じて、ctype_func, hash_func, 等も) セットします。
  4. train_one() メソッドに、学習用の文を一つずつ与えます。
  5. SCW は、通常1エポック(学習コーパスの文を最初から最後まで与えてモデルを学習する繰り返し1回分)後には収束します。ステップ4をさらにもう2,3エポック繰り返すことにより、さらに精度が上がる可能性があります。

オリジナルの解析モデルを学習する場合のサンプルが、scripts/train_ja.js (日本語) と scripts/train_zh.js (中国語) にありますので、ご参照ください。

ということなので node_modules/rakutenma/scripts/train_ja.js をチラ見しながら 次のオンライン機械学習をするコードを書きました。

var fs = require('fs');
var RakutenMA = require('rakutenma');
rma = new RakutenMA();
rma.featset = RakutenMA.default_featset_ja;
rma.hash_func = RakutenMA.create_hash_func(15);

var rcorpus = JSON.parse(fs.readFileSync("learndatabase.json"));

console.error( "total sents = " + rcorpus.length );

const iter = 1;

for (var k = 0; k < iter; k ++) {
    console.error("iter = " + k);
    for (var i = 0; i < rcorpus.length; i++) {
        var res = rma.train_one(rcorpus[i]);
        if (i % 100 == 0)
            console.error("  train i = " + i);
    }
}

fs.writeFile("learndata.json", JSON.stringify(rma.model), 
function(err, result) {
    if (err) console.log('error', err);
});

コード中の変数 iterイタレーションの回数です。 箇条書きの5.で説明のあるエポックの回数を指定します。 コードでは1回としていますが、通常は3〜4回くらいは繰り返すようです。 これは学習プロセスを実行するので、実行終了まで数分程度要します。 変数 iter を増やすと、実行時間も倍数で増えるので、ここでは1回としました。


学習済みモデルの再学習 (分野適応、エラー修正等)

オリジナルの解析モデルが出来あがると普通に形態素解析ができるのですが、 なかには予期せぬ解析をするケースもあります。 「やさしい日本語」コーパスの場合は「今夜来いよ。」を 誤まって {今}{夜来}{い}{よ}{。} と解析しました。 そこで解析モデルの再学習を行います。

  1. 学習済みモデルをロードし、Rakuten MA のインスタンスを初期化します。(上記の「学習済みモデルを使って日本語・中国語の文を解析」を参照)
  2. 学習用のデータを用意します。フォーマットは、上記「オリジナルの解析モデルの学習」にて用意した学習用コーパスと同じです。(コーパスのサイズはほんの数文でも構いません。必要なサイズは、再学習する対象や度合いによって変わってきます。)
  3. train_one() メソッドに、学習用の文を一つずつ与えます。

再学習、要は train_one() は使って正解を(必要があれば何度も)教え込むだけなようです。
コードは以下のとおり…

var fs = require('fs');

var RakutenMA = require('rakutenma');
var model = JSON.parse(fs.readFileSync("learndata.json"));
var rma = new RakutenMA(model);
rma.featset = RakutenMA.default_featset_ja;
rma.hash_func = RakutenMA.create_hash_func(15);

var s = "今夜来いよ。教えますから。";
console.log(s);
console.log("ー before ーーーーーーーーー")
console.log(rma.tokenize(s));
var res = rma.train_one([
        [ "今夜", "N-nc" ],
        [ "来い", "V-dp" ],
        [ "よ",   "P-sj" ],
        [ "。",   "M-p"  ],
        [ "教え", "V-c"  ],
        [ "ます", "X"    ],
        [ "から", "P-sj" ],
        [ "。",   "M-p"  ]]);
console.log("ー after  ーーーーーーーーー")
console.log(rma.tokenize(s));

このコード(example3.js)を実行すると次のようになります。

$ node example3.js
今夜来いよ。教えますから。
ー before ーーーーーーーーー
[ [ '今', 'P' ],
  [ '夜来', 'N-nc' ],
  [ 'い', 'P-sj' ],
  [ 'よ', 'P-sj' ],
  [ '。', 'M-p' ],
  [ '教え', 'V-c' ],
  [ 'ます', 'X' ],
  [ 'から', 'P-sj' ],
  [ '。', 'M-p' ] ]
ー after  ーーーーーーーーー
[ [ '今夜', 'N-nc' ],
  [ '来い', 'V-dp' ],
  [ 'よ', 'P-sj' ],
  [ '。', 'M-p' ],
  [ '教え', 'V-c' ],
  [ 'ます', 'X' ],
  [ 'から', 'P-sj' ],
  [ '。', 'M-p' ] ]
$ 

これで正しく {今夜}{来い}{よ}{。} と解釈するようになりました。

モデルサイズの削減

解析モデルはかなり大きなデータになりますが、README によると「付属の minify.js を使うと小さくできる」そうです。

モデルのサイズは (素性ハッシングを使用したとしても) 再配布してクライアント側で使用するにはまだ大きすぎることがあります。 素性量子化を適用するスクリプト scripts/minify.js を使用して、学習したモデルのサイズを削減することができます (詳細については、論文 [Hagiwara and Sekine COLING 2014] を参照してください。)

このスクリプトは、node scripts/minify.js [入力モデルファイル] [出力モデルファイル] として実行すると、minify されたモデルファイルを書き出します。

…とのことなんですが、実は最新の nodejs で実行すると minify.js はズッコケます。 (理由は単に fs.writeFile のコールバックがオプションでなくなったせいなんですがね) パッチを当てるほど大きなコードでもないので、僕が修正した minify.js を次に示します。

var RakutenMA = require('rakutenma');
var fs = require('fs');
var Trie = RakutenMA.Trie;

var model = JSON.parse( fs.readFileSync( process.argv[2] ) );

var new_mu = {};
Trie.each( model.mu,
       function( key, mu_val ) {
           var new_mu_val = Math.round( mu_val * 1000 );
           if (new_mu_val != 0)
           Trie.insert(new_mu, key, new_mu_val);
           // console.log( [key, mu_val, new_mu_val] );
       }
     );

model = {mu: new_mu};

// write out the final file
fs.writeFile(process.argv[3], JSON.stringify(model), 
function(err) {
    if (err) console.log('error', err);
});

このコードを実行すると次のようになります。

$ node minify.js learndata.json learndata.min.json
$ ls -l learndata.json learndata.min.json
-rw-r--r--  1 fujita  staff  12461795 12 10 21:47 learndata.json
-rw-r--r--  1 fujita  staff   2094996 12 17 16:09 learndata.min.json
$

確かに解析モデルデータは小さくなってます。が…

注意 このスクリプトは、学習された SCW の "sigma部" も削除してしまうため、一度 minify されたモデルを再学習することはできません。必要であれば、モデルを再学習した後、minify してください。

…ってことです。単に好奇心から、 解析モデルデータを差し替えて先ほどの再学習コードを実行してみました。

$ node example3.js
今夜来いよ。教えますから。
ー before ーーーーーーーーー
[ [ '今', 'P' ],
  [ '夜来', 'N-nc' ],
  [ 'い', 'P-sj' ],
  [ 'よ', 'P-sj' ],
  [ '。', 'M-p' ],
  [ '教え', 'V-c' ],
  [ 'ます', 'X' ],
  [ 'から', 'P-sj' ],
  [ '。', 'M-p' ] ]
ー after  ーーーーーーーーー
[ [ '今', 'P' ],
  [ '夜来', 'N-nc' ],
  [ 'い', 'P-sj' ],
  [ 'よ', 'P-sj' ],
  [ '。', 'M-p' ],
  [ '教え', 'V-c' ],
  [ 'ます', 'X' ],
  [ 'から', 'P-sj' ],
  [ '。', 'M-p' ] ]
$ 

学習のAPI train_one() を呼び出してもエラーは発生しませんが、 解析モデルに反映されることも無いようです。


おわりに

ということで、本項では Rakuten MA を使った基本的なサンプルコードを紹介しました。 おそらく「README の説明は素っ気無い」と感じる方には多少の役に立つことでしょう。

Rakuten MA は (ウェブ・アプリケーションなどでブラウザー側で形態素解析が実行できるぐらいに) 非常にコンパクトな形態素解析器です。ピュア JavaScript の実装ですが、 ちゃんとしたオンライン機械学習(逐次学習とは言わない?)を備えているので、 機械学習の入門者向けの実習教材としても需要があるんじゃ無いか?と思います。


傾聴対話の実現を目指す僕が感じる魅力は「非常に簡単に再学習できる」ところで、 この機能を使うと対話システムで「言葉を覚える」プロセスを再現できるように思うからです。 実際、人間同士の会話でも「言葉やその意味を覚える」行為は頻繁にあります。 これはワイゼンバウムが 第2論文 で語っていた「サブコンテキスト」の典型例の1つなのではないかと僕は考えています。 また「傾聴」という観点でも「言葉を教える」という行為が 対話システムへの愛着を演出してくれるのではないかと思います。

…ってことで、僕の並々ならぬ期待感も言い添えて Rakuten MA の紹介を終わります。

以上

*1:ちなみに、このコーパスを作成された 長岡技術科学大学 電気電子情報工学専攻 自然言語処理研究室は2020年3月末に閉鎖するそうです。

www.jnlp.org

研究室の閉鎖後のこのコーパスの取り扱いはよくわからないので、 必要な方は今のうちにダウンロードしておいた方が良さそうです。 コーパスの作成を指導なさった山本先生、 およびコーパスの作成を担当された学生の方々に感謝します。

*2:僕の経験則なのですが、この種の未知の外部ライブラリを使うときは、 予め(出来るだけ単機能の)ショート・サンプルを書き溜めておくと、 自分が書いているプログラムに組み入れる時に何かと便利です。
まぁ、最近ではユニット・テストが常識みたいなので改めて断る必要もないかな?