キャシー・オニール著，久保尚子訳「あなたを支配し、社会を破壊する、AI・ビッグデータの罠」インターシフト，2018
自分では優秀な教師だと思っていて，実際に地域社会からの評判もよく，「よい教師」だと客観的にも評価されていたはずの人物が，新たに導入されたコンピューターによる教師評価ツールによって，落第教師の判定を受け解雇される。該当の人物はそんなはずがないと考え，異議の申立てをするものの，教師評価ツールの判定プログラムの内容（評価項目の詳細や結果判定に至るプログラム）はブラックボックス化されていて内容は明かされず，自分の何が悪くて落第の評価を下されたのかも解らない。また，解雇の判断を下した当局も評価ツールの判定の妥当性を盾に異議申立てに応じない。
このような実例の紹介から始まる本書は，数学の専門家でありその知識を活かしてヘッジファンドで勤務したこともある著者が，ビッグデータテクノロジーとその応用が現代社会に及ぼしている危険性について解説する本である。原著タイトルは"WEAPONS OF MATH DESTRUCTION"（数学破壊兵器） ，すなわち"weapons of mass destruction"（大量破壊兵器）のもじりである。人間ではとても扱いきれない量のデータを瞬時に解析し，それら一定の順序で並べ替えたり相互に関連付けたり，といったことは現代のコンピューター技術がなければ不可能なことで，ビッグデータ時代の到来によりこれまで見えなかったものごとのパターンが明らかにされ，将棋などAI分野でも応用されていまや人間のトッププロも太刀打ちできないほどの力をつけるに至っている。こうしたビッグデータの利用はもちろん有用なのだが，使い方を誤ると破壊的な影響力を人間社会にもたらすし，事実そうなっている場所がたくさんある，というのが筆者の指摘である。
まず，データを現実社会の分析に用いるには，分析対象をモデル化しなければならない。しかしながら，モデルはあくまでモデルであって，人間社会や人びとの行動を構成する要素の全てを取り込むことは原理的に不可能であり，作成者の価値観に基づくデータの取捨選択（場合によっては必要とされるデータそのものではない代理データを利用せざるを得ない場合もある）や考慮要素の切り捨てが必然的に紛れ込む。また，モデルが適切に働いているか否かの評価及び改善を怠れば，仮にモデルがなにか致命的な欠陥を抱えていても，モデルそれ自体には誤りを修正する能力はないので，誤った分析結果がはじき出され続けて有害な影響を与え続ける。
筆者が「数学破壊兵器」の三大要素として挙げるのが，①不透明性（対象者が何を元にどのような判断が下されるか予測できない），②規模拡大性（急速に利用対象が拡大し，法の力に限りなく近い執行力を持つようになる），③有害性（モデル化の対象となる人びとの利益に反する可能性がある）の三点である。これらの特徴を持ったモデルがマーケティングやリクルーティング，労働時間の管理，保険リスクの計算などなど，人間社会のありとあらゆる分野で用いられ，社会とその内部で暮らす人々の生活を破壊しているというのが，本書での筆者の主張である。
数学破壊兵器の具体例として筆者が挙げる再犯モデル（受刑者に対する質問への回答を分析して当該人物の再犯可能性を予測して量刑算定の基礎とするもの）を例に，先の三点を見ると次のとおりになる。まず，対象者（受刑者）には質問によって自身の何が測定されているかが明らかにされておらず，ある質問への答えが自身にとって思わぬ不利益をもたらすおそれがある（①不透明性）。ついで，同モデルは受刑者の収容事務に関するコストを削減して一件「合理的」と見える判断を下すものであり，多くの州で採用され多くの受刑者に対して適用されている（②規模拡大性）。また，このようなモデルは悪しきフィードバックループをもたらすおそれがある。すなわち，同モデルによって再犯可能性が高いと予測された受刑者に対しては厳しい処遇が選択され，処遇が厳しくなれば当該受刑者にとって社会復帰の足かせになり，社会復帰後の困難な生活がさらに再犯に結びつく（③有害性）。
本書では，大学評価，貧困層を対象としたターゲティング広告，就職に関する適性検査，犯罪予測，労働時間管理等々の様々な分野に，上記の三大要素を持つ数学破壊兵器が入り込んで破壊的な悪影響を及ぼす状況が紹介される。詳細はここでは書き切れないが，いずれも人間が置き去りにされてアルゴリズムが暴走している状況が描き出されている。
もっとも，筆者はビッグデータの利用を完全に否定するものではないし，それを推奨するものでもない。筆者は，モデルを作成する者がその不完全性を認識し，アルゴリズムの透明性を確保して外部からの問題点の指摘を受けて改善できる体制を取ることが必要であること，また，場合によってはモデル利用によって得られる効率性よりも人権への配慮が必要となる場合があることを指摘し，これらに自覚的にビッグデータを利用すべきであるとする。「ブラックボックス化したアルゴリズムにデータを入れて吐き出した結果に盲目的に従う、というのでは、コンピューターが現代の神官として君臨しているだけではないか」という本文の記載にあるとおり，ビッグデータの時代にあっても中心には人間がいなければならない，というのが筆者の主張である。
最後に筆者が指摘するモデル利用の問題点として興味深いものをいくつか覚え書き程度に。
規模拡大性の問題として指摘されているところであるが，あるモデルが広く共有されると，モデル作成者が有利に取り扱うこととした指標が一人歩きし，評価される対象者にとって（その合理性に拘わらず）それが改善目標として事実上強制される状況が生じる。たとえば，大学評価に当たって全国大会での運動部の成績を重視すると，高評価を得たい大学は運動部の成績向上に取り組まざるを得なくなり，軍拡競争のようなかたちでおよそ学生スポーツの域を超えた異常なまでの力の入れようが各大学で生じる，といった具合である。このように，広く利用されるモデルはある集団に対して特定の（必ずしも合理的でない）行為を事実上強制してしまい，少数の個人が作成したモデルが本来民主的手続によって制定されるべき法規範と同じ力を持ってしまうという。
モデルが排除したものは評価の対象外になるという問題。就職に関する適性検査では，モデルが何らかの基準に基づいて不適格と評価した人物は採用対象から弾かれることになるが，その人物がその後どういうキャリアを築くかはそのモデルからは追跡不能である。たとえ当該人物が別の企業に就職を決めて大成功を収めていたとしてもそのモデルだけに頼っている限り気付くことはできず，当該モデルの改善の余地も見落とされたままになってしまう。
代理データの問題。人種を理由とした差別は許されないが，現実としてマイノリティが多く暮らす街は存在しており，特定の住所の郵便番号を登録するだけで当該人物がマイノリティであると推測され，クレジットスコアの信用性が低く評価されたり犯罪傾向が高いと見做される事態が生じているという。代理データをこのように用いることは形を変えた人種差別にほかならず，このような局面はモデルの効率性よりも人権に配慮することが求められるだろう。ところで本邦で近ごろ「AIがしてるのは合理的な区別であって差別ではない」とか言ったAI研究者が話題になったけど，本書がベストセラーとして多くの一般読者に迎え入れられているアメリカとの意識の差に暗澹たる気持ちになりますね。