『文庫 異端の統計学 ベイズ』(草思社)

ベイズ統計学は、機械翻訳、迷惑メール除去など身近なITにも利用され、人工知能やビッグデータ解析にも不可欠の、いまや注目の理論。だが、統計学界の主流派「頻度主義者」により、「ベイズ」は200年近くの長きにわたり、つい20年ほど前まで異端視されてきた。それはなぜか――。ベイズ統計学の数奇な運命を綴った傑作読み物『異端の統計学 ベイズ』の序文をお読みいただきたい。

「異端」の理論がIT社会を支えている

ベイズの歴史は「科学も間違える」の最たる例

一九一二年にウェゲナーが大陸移動説を発表した時点で大陸が漂うという証拠がすでに多数集まっていたにもかかわらず、地質学者たちはその後五〇年間、大陸が動くはずはないと主張し続けた。この有名な例からもわかる通り、ときには科学もまちがえる。

地質学者たちのこの一件ほど有名ではないが、ベイズの法則を巡る科学者たちの戦いはこれよりずっと長く、一五〇年も続いた。そこで論じられたのはより広範で根本的な問題――人は証拠をどのように分析し、新たな情報が手に入ったときにどう考えを変え、不確かな状況下でいかに合理的な決定を下すのかという問題だった。そしてこの論争は、二一世紀初頭にようやく決着したのだった。

ベイズの法則は、一見ごく単純な定理である。曰く、「何かに関する最初の考えを新たに得られた客観的情報に基づいて更新すると、それまでとは異なるより質の高い意見が得られる」。この定理を支持する人からすれば、これは「経験から学ぶ」ということをエレガントに表現したものなのだ。この定理に帰依した多数の人々が、この定理の内なる論理の虜となり、宗教的ともいえる啓示が訪れた瞬間のことをはっきりと憶えている。だがこの定理を認めない人々にとって、ベイズの法則は主観性の暴走でしかなかった。

神の存在証明が「ベイズの法則」発見のきっかけ？

ベイズの法則が誕生した一七四〇年代当時、イングランドは激しい宗教論争の渦中にあった。我々人間をとりまく世界に関する証拠に基づいて、神が存在するという理に適った結論を得られるか否かが大問題となっていたのだ。ベイズの法則を発見したのはアマチュア数学者のトーマス・ベイズ牧師で、今ではこの人物こそが数学的な意思決定の父とされている。しかしベイズは、自分の発見を積極的に売り込んだわけではなかった。当時ベイズはさほど有名ではなく、ベイズの業績が今日に伝わっているのは、ひとえにベイズの友人で編集者――そしてほぼ忘れ去られたアメリカ独立戦争の英雄――だったリチャード・プライスのおかげだった。

この法則には、本来ベイズではなく、ラプラスの名前を冠するべきなのだろう。史上最強の数学者にして科学者だったフランスのピエール・シモン・ラプラスは一七七四年に、未だかつてないデータの奔流を何とか処理しようと、独力でこの法則を発見した。そして、その後四〇年をかけて今日の形へと展開した。ラプラスは自分が発見したこの法則に基づいて、女児よりも男児のほうが多く生まれるという周知の事実はほぼ確実に自然法則に起因している、と結論した。昔からの習慣で、ラプラスの発見した事柄をベイズの法則と呼んでいるにすぎないのである。

学界で異端視されるも実用面ではひそかに大活躍

ラプラスの死後、厳密で客観的な答えを求めていた学者や研究者は、こんなものは主観的で役に立たぬといってラプラスの手法を切って捨て、葬り去った。だがその一方で実際的な問題解決者たちは、この法則を拠り所として現実世界の緊急事態に対処していった。そしてこの法則は、第二次大戦下で華々しい成功を収めることとなる。アラン・チューリングがベイズの法則を発展させて、エニグマと呼ばれるドイツ海軍の暗号を解いたのだ。これによって英国は救われ、近代的な電子計算機やソフトウェアの発明が後押しされたのだった。このほかにも、ロシアのアンドレイ・コルモゴロフやニューヨークのクロード・シャノンといった一流の数学的思想家たちが、戦時下での意思決定に役立てるべく、ベイズの法則を見直しはじめた。

象牙の塔の理論家たちが、ベイズの法則をタブーとして見事に封じ込めたと考えて安心しきっている間に、外の世界ではこの法則が力を発揮しはじめていた。ベイズの法則のおかげで、アメリカでは労働者のための労災保険が無事スタートし、ベル電話会社のシステムは一九〇七年の金融恐慌を何とか生き延びることができ、アルフレッド・ドレフュスは監獄から解き放たれ、連合軍の砲手はドイツ軍のユーボートの所在を突きとめて砲撃することができるようになり、ついには地震の震源地を突きとめることができるようになった（そして、地球の核は溶けた鉄であるにちがいないという（誤った）推論が展開されるようになった）。

理論の上ではベイズの法則は禁じ手とされていた。しかしこの法則は、量の多寡を問わず、あらゆる種類のデータに適用することができた。そのため冷戦下では行方不明になった水爆やアメリカやロシアの潜水艦を探索するのに使われ、あるいは原子力発電所の安全性を調べたりスペースシャトル・チャレンジャーの悲劇を予測するのに使われた。さらに、喫煙が肺がんを引き起こすことや、コレステロールが高いと心臓発作が起きることを示す際にも、そしてテレビでいちばん人気のニュース番組で大統領選の勝者を予測する際にも使われたのだった。

なぜベイズは主流派から嫌われたのか？

ほかのことに関してはきわめて理性的な科学者や数学者や統計学者たちが、ことこの定理に関してはまるで取り憑かれたように激しい応酬を繰り返し――ある観察者曰く――「パイ投げ合戦」を展開したのはいったいなぜなのか。答えはしごく単純で、ベイズの法則の核となるものが、科学者の心に深く根ざした、近代科学には正確さと客観性が求められる、という信条に反していたからだ。ベイズの法則では、信念が尺度となる、この法則によると、欠けているデータや不適切なデータ、さらには近似や無知そのものからも何かがわかるのだ。

このような哲学の根本における重大な不一致ゆえに、このベイズの法則の物語では、圧倒的な包囲網に対してこの法則が正しいことを認めさせ受け入れさせようとする少数の擁護者たちの戦い――二〇世紀のほぼ一〇〇年にわたる血塗られた苦闘――が語られることになる。さらにこの物語では、この法則の運命がいかに大戦や冷戦の秘密と強くよりあわされていたかが示される。そしてこれは、コンピュータやソフトウェアのパッケージを必要とした理論の物語でもある。この手法は、物理学やコンピュータ・サイエンスや人工知能などの研究領域出身の人々によって新たな活力を吹き込まれ、突然使えるようになり、一夜にして世間に受け入れられた。実践的な分野では未だかつてないパラダイム・シフトが進み、かつてベイズを「統計におけるコカインのようなものだ。魅惑的で常習性があり極度に破壊的である」と評した人物自身が、ベイズ派の人々をグーグルに招集しはじめた。

我々はもう「ベイズ統計学」なしには生きられない

今ではベイジアン・スパム・フィルタが、ポルノ・メールや詐欺メールをすばやくコンピュータのゴミ箱に運ぶ。どこかで船が沈んだら、沿岸警備隊は生存者が何週間も大海原を漂流しなくてすむように、ベイズ推定を使ってその居場所を探り出す。さらに科学者たちは、遺伝子がいかに調節され、規制されているかを突きとめる。ベイズ派からはノーベル賞受賞者も出ており、オンラインの世界では、ウェブで情報を広く集めたり歌や映画を売るのにベイズの法則が使われ、コンピュータ・サイエンスや人工知能や機械学習、ウォールストリートや天文学や物理学、安全保障省やマイクロソフトやグーグルにまでベイズの法則が浸透している。この法則のおかげで、コンピュータによる言語の翻訳が可能となり、何千年にもわたって立ちはだかってきたバベルの塔が瓦解しようとしている。ベイズの手法は人間の脳が学習したり機能したりする様子を示す比喩となり、著名なベイズ派の人々は、政府の各部署におけるエネルギーや教育や研究の助言者となっている。

ベイズの法則は、決して科学の歴史に埋もれた地味な論戦の種ではなく、我々すべてに影響を及ぼしている。それは、実生活の広い範囲――絶対的な真実とまったくの不確かさに挟まれた灰色の領域――で推論を行うための論理なのだ。知りたいことに関する情報はほんの少ししか手に入らないことが多く、それでもわたしたちは、過去の経験に基づいて何らかの予想を立てたいと思う。そして新たな情報が手に入れば、それに基づいてそれまでの考えを修正する。長い間激しい嘲りの的だったベイズ統計が、ついに身の回りの世界について合理的に考える手段を提供するようになったのだ。

ではこれから、この驚くべき変化がどのようにして起きたのか、その顛末を見ていこう。

（本原稿は、シャロン・バーチュ・マグレイン／冨永星訳『異端の統計学 ベイズ』の「序文」を抜粋したものです。）