【特集：AI 社会と公共空間】人を評価する人工知能が人間同士の関係に与える影響とその倫理的含意

2019/02/05

近年、人工知能（artificial intelligence; AI）が様々な場面で実用化されるにつれて、その社会的影響についての懸念が高まっている。そしてそれに伴って人工知能に関する倫理についての議論も国内外で、そして様々なステークホルダーを巻き込んで、盛んになっている（1）。そこで問題にされるのは人工知能の安全性・制御可能性、透明性、アカウンタビリティ、格差・公平性への影響、人権や人間の尊厳などである。本稿ではこういった問題に加えて、人工知能の利用が人間同士の関係に対して与えることが懸念される影響とその倫理的含意に焦点を当てる。

人工知能 i）の倫理的問題について考えるためには、大雑把にでも人工知能というものを特徴づけておく必要があるだろう。しかしこれは中々、難しい課題である。「人工知能」という研究分野を創始したジョン・マッカーシーらは、人工知能の課題を「人間が同じ振る舞いを示したならば知的であると考えられるような振る舞いを機械にさせること」と特徴づけた。しかし私たちが何を「知的」と見なすかは必ずしも明確ではない。かつ人間にとっては「知的」と見なされないような振る舞いでも、人工知能分野における重要な達成と見なされるものもある。例えば人の顔を見分けるとか、物を摑んで拾い上げるといったことがそうである。

「知能」の概念に基づいて人工知能を特徴づけることは、「知能とは何か」、あるいは「知的であるとはどういうことか」という極めて答えることが難しい問題にぶつかる。ここではジェリー・カプラン（2）にならい、そのような問題を回避して、人工知能を、単なる「絶え間ない自動化の進歩」であると考える。このように考えたとき、人工知能の倫理的問題とは、「これまで自動化されていなかったことが自動化されることによって新たに生じる倫理的問題」と捉えることができる。

しかしこのように人工知能を特徴づけると、その実例はあまりに多岐にわたり、それらを十把一絡げにして論じるのは無理がある。そこで本稿では特に「人間を自動的に評価・判断・分類するシステム」に焦点を当てる。

現在の第３次人工知能ブームを駆動しているテクノロジーの１つは深層学習に代表される機械学習である。機械学習は典型的には大量のデータの中から人間では見つけることのできない微かなパターンを見つけ出し、対象を識別・分類・類型化する。このテクニックによって、例えば大量の画像の中から猫が映っている画像とそうでない画像を区別するというような識別タスクの自動化が可能になった。猫の画像ならば人間でも見分けがつくが、人工知能は人間よりもさらに優れた識別能力を発揮することもある。例えば将棋や囲碁などのゲームにおいて、人工知能は与えられた盤面を人間のプロ棋士以上に的確に評価できるようになっている。

しかし現在の機械学習が最も大きな力を発揮している（すなわち、それを使用する人々に最も大きな利益をもたらしている）のは人間の類型化と行動予測においてである。どういう人間がどういう需要や選好を持つか、どういう人間がどのような行動傾向を持つかということを高い精度で知ることは、ビジネスにおいて極めて重要である。ビッグデータと人工知能はこの用途において極めて有用なテクノロジーであることが分かった。インターネット、そしてスマートフォンなどのモバイルテクノロジーの普及によって、現在、人々のオンラインでのあらゆる活動、そしてますます多くのオフラインでの活動についての大量の機械可読なデータが取得・記録・保存されている。そして機械学習のテクニックが発達したことで、そのデータから人々の需要や選好や行動の傾向、パターンが抽出できるようになったのである。それゆえに大量のデータを所有している巨大ＩＴ企業はより適切なタイミングで適切なターゲットに適切なアクションを取ることが可能になった。そしてそのことが彼らに莫大な利益をもたらしている。半世紀にわたる人工知能の歴史において、初めて人工知能がビジネスにおける大きな成功を支えるテクノロジーになった。

しかし人工知能による人間の評価・類型化が応用されるのはマーケティングにおいてばかりではない。企業による人材登用や人事評定、あるいは司法（警察や裁判）の場においても人工知能は使われている。このようなサービスを提供している側は、それが人間と違って「偏りがない」、「好みに左右されない」、「正確である」と宣伝するのが常である。しかし実際にはそこにはアルゴリズムを作った人間の好みやバイアス、そして学習に利用されたデータの持つバイアスなどが反映されているということが指摘される（3）。

AC Global Risk社が開発している「遠隔リスク評価（Remote Risk Assessment; ＲＲＡ）」というシステムには人工知能による人間評価の様々な問題点が顕著に現れている（4）。このシステムは電話越しの十分程度の会話（決められた質問に対して母国語で答える）をもとに、その内容ではなく声の調子のみによって相手が危険人物であるどうかを判定するという。「移民を徹底的に精査せよ」というトランプ大統領の要求に対する答えとして、AC Global Risk社はＲＲＡを「アメリカや他の国が現在、直面している歴史的な難民危機（monumental refugee crisis）に対する究極のソリューション」と宣伝している。AC Global Risk社はソフトウェアの詳細に関するThe Interceptの質問に答えることを拒否しているが、公開されている材料をレビューした専門家はこれを「たわごと（bullshit）」、「いかさま（bogus）」と呼んでいる。音声感情認識の権威であるBjörn SchullerはThe Interceptの取材に対して「何らかの精度で声だけから嘘を見破れるという印象を与えることは倫理的に問題がある。そんなことができると宣伝する人間がいたら、彼らこそがリスクだとみなされるべきだ」と述べている。アメリカの入国審査では、人を捜査したり入国拒否したりする際、喋り方や見た目が口実として使われている。ＲＲＡはそのようなバイアスを「ルーティンとして蔓延させ、一見『客観的』に見せるかもしれない」と専門家は危惧している。

しかしＲＲＡやそれに類する人間評価アルゴリズムは現在、社会のあちこちで使われている。そして多くの場合、それらは宣伝されるほど正確でもないし、バイアスを免れているわけでもない。アメリカで再犯の可能性などについて推測するために使われ、量刑の決定の際にも参考にされるＣＯＭＰＡＳというシステムは、素人によるあてずっぽうの推測にも劣る程度の精度しかなく、また人間と同様のバイアスを持っていたことが判明した（5）。アマゾン社が秘密裏に開発していた人工知能による人材評価システムは女性を低く評価するバイアスを持っていたことが判明し、開発チームがその問題に対処することができなかったために破棄された（6）。こういった問題が次々に明らかになっているにもかかわらず、企業や政府はアルゴリズムで人を評価することに熱心である。なぜならそれは複雑で難しい問題に対する、単純で効率的な「解決」であるからだ。

人間評価アルゴリズムはデータに基づいて人々を分類、クラスタリングする。そして特定の集団に属する人間に対して一定の評価、ラベリングを行う。この推論に基づいて、リスクが高いと判断された人間は、例えば企業で採用を見送られる、長い刑期を課される、入国を拒否される等々、不利な状況に置かれることになる。例えば暴力的な人物が高い割合で含まれると評価された集団のメンバーは、暴力的である可能性が高いと見なされ、リスクとして排除される（図１）。最も極端な例は、アメリカによる「テロとの戦い」で用いられる「シグネチャー攻撃」だろう。アメリカはアフガニスタン、パキスタンなどで、人々の年齢、行動のパターン、居場所、人的なつながりのネットワークなどのデータに基づいてある人物がテロリストであるかどうかを推定して、ドローンによる爆撃を行っている。実際にアメリカを攻撃する意図や計画を持っているかどうかにかかわらず、テロリストに共通する特徴を十分に持っている人間であれば、テロリストと見なして攻撃しているのである（7）。

このような方法論の根底にある（そしてこの方法論を実践することによって社会に蔓延する）のは、他者をコンピュータやスマートフォンなどの機械によって処理できるデータの束として捉え、そして自分にとっての潜在的な損害あるいは利益としてのみ捉える見方である。機械学習システムは、ウェブ上にあふれる膨大なデータから、複雑な属性の組み合わせを持った人間が、何かしら「リスキー」である可能性を検知する。「リスキー」だと判断された人々は、しばしば効率のために十把一絡げにして、かつ誤った「客観性」の名の下に、切り捨てられてしまう。一人一人の個人が、本当に危険なのかが精査されることはない。なぜならそうすることは非効率的だからである。それよりはリスクとしてラベリングされた人々すべてを切り捨てる方が効率的であり、従って「合理的」なのである。そこでは他者は血の通った個人として扱われず、単なるデータポイントとして扱われる。もしもこの際に参照される属性が民族やジェンダーや宗教などであるとき、それは差別であり、アンフェアであるとして批判される。しかしながらビッグデータに基づく人間評価システムは、現在すさまじい勢いで新たな差別の種を生み出している。さらに言えば前節のアマゾン社の例に示される通り、自動的人間評価システムは古くからある差別を気づかれないうちに判断に紛れ込ませていることもしばしばである。

テクノロジーは人間と世界との間の「媒介（メディア）」、あるいは「インターフェース」であるという考え方がある。すなわち人間はテクノロジーを介して世界を知覚、認識、解釈し、そしてテクノロジーを介して世界に働きかける。この意味では、テクノロジーは私たちの認識能力・行動能力の一部である、ということができる。だとすればテクノロジーが変化するということは私たちの世界認識の仕方が変わるということであり、そして私たちの世界への働きかけ方が変わるということである。一般にテクノロジーは私たちが世界をよりよく知ることを可能にし、そしてこの世界を効率的に利用することを可能にする。

ＩＣＴが進歩し、テクノロジーが高い自律性を獲得しつつある現在、私たちと環境世界・他者との関係は大きく変化しようとしている。これまでは、世界の中でよりよく行動するためには、私たちは世界と他者についてよりよく知ることが必要だった。ＩＣＴの発展、特に人工知能やロボット技術の発展によって私たちはもはや環境世界と他者について詳細に知ることなしにそれらに効率よく対処することができるようになる。ＩＣＴは私たちに情報をもたらすのではなく、むしろ私たちを外界の情報に触れなくさせるスクリーンのように機能するのである。今後、私たちの世界認識、そして世界への働きかけはますますテクノロジーに依存するようになるだろう。しかしその時、私たちと世界、私たちと他者との間の物理的心理的な距離は際限なく広がってしまう可能性がある。

このことの倫理的な含意は重要である。なぜなら心理的な距離が私たちの道徳的判断と行動に影響を与えるということが心理学の研究によって明らかにされているからである。例えば心理的な距離が広がれば私たちは他者に対してより寛大でなくなり、自己の利益に基づいた思考が促進される。

前節で述べたように、人工知能による人間評価システムが社会の多くの場面で使われるに従って、ますます私たちは他者を機械可読なデータの束として捉え、自分にとっての潜在的な損害と利益のソースとして考えるようになるだろう。しかしこのことは他者との間に築くことができるかもしれない人間関係を厳しく限定する。「囚人のジレンマ」ゲームが示すように、自己利益と相手への疑いからスタートした人間関係を、相互の信頼と協力の関係へともたらすことは難しい。

だが人間同士の関係はもっと豊かな可能性に開かれている。人間の性格というのは必ずしも機械によって客観的に測れる固定されたものではない。それは人間同士の相互作用の中でダイナミックに変化していくものである。人間は信頼されればその信頼に応えようと努力する。つまり相手を信頼することが要因となって、本当に相手が信頼に足る人物になることがあるのである。あるいは単に頻繁に顔を合わせるだけで好意が生まれることもある。そしてそうやって生まれた信頼や好意に基づいた協力関係がお互いに利益をもたらし、そのことがさらなる信頼と好意を促進させる。だがこのような良い人間関係を促進するサイクルは、ウェブ上で入手できるデータに基づいた自動評価システムからは始まりにくいだろう。

人間を評価することにおいて、ビッグデータや人工知能を無思慮に使用することは、他者をコンピュータが処理できるデータの束として扱い、そしてより効率の面から捉えることを促進する可能性がある。また人工知能はそれを開発した人間や社会の持つバイアスを反映し、それを固定化・強化する効果を持ちうる。さらにビッグデータと人工知能は特定の集団にネガティブなラベリングをすることで新たな差別の種を生み出してもいる。

現状において人工知能はしばしば社会的弱者に不当な不利益を与えたり搾取したりすることで大きな利益を上げるような使われ方をしている。その一方で人工知能は、苦しんでいる社会的弱者を可視化し救済することを助けるためのツールとして活用することもできる。人工知能の応用について考える際には、それがどのような目的で作られ、どのような副作用をもたらすのか、誰に利益をもたらし誰を踏みつけにするのか、ということを考えることが肝要である。

〈註〉

i）「人工知能」という言葉は、技術的プロダクトを指して使われる場合と、そういったプロダクトの研究・開発を行う分野を指して使われる場合がある。本稿でもこの言葉をそのような両義的な意味で使用する。

〈参考文献〉

（１）村上祐子、「人工知能の倫理の現在——研究開発における技術哲学・倫理の意義」、IEICE Fundamentals Review,11（3）, pp. 155-163, 2018年。

（２）J. Kaplan,Artificial Intelligence: What Everyone Needs to Know,Oxford University Press, 2015.

（３）キャシー・オニール、『あなたを支配し、社会を破壊する、ＡＩ・ビッグデータの罠』、久保尚子訳、インターシフト、2018年。

（４）A. Kofman, “Dangerous junk science of vocal risk assessment”,The Intercept, November 25, 2018.

The Dangerous Junk Science of Vocal Risk Assessment

（５）穴瀬博一、「「ＡＩ裁判官」は全然公平ではなかった！ 人工知能裁判のお粗末な実態」、『るいネット』、2018年８月12日。

http://www.rui.jp/ruinet.html?i=200&c=400&t=6&k=2&m=338047

（６）河鐘基、「アマゾンの人材採用ＡＩが「女性を差別した」理由を考えてみる」、Forbes Japan' 2018年10月16日。

アマゾンの人材採用AIが「女性を差別した」理由を考えてみる | Forbes JAPAN 公式サイト（フォーブス ジャパン）

（７）久木田水生、「遠隔戦争の論理と倫理」、『αシノドス』、Vol. 257+258、2018年。