数式を使わないでこれだけ様々な知識に言及できてるのは著者の底知れぬ力量を感じさせる。
どんなことが書かれてるのかは下の要約のとおりだが、要約だけ読んでも味気ないはず
https://loungecafe2004.com/2013/02/01-000000
この本が私のような統計学の初心者をはじめとするたくさんの人に受け入れられた理由は著者が数学者として専攻した統計学を扱った人物でなく、しかし、統計を扱うことを生業とする東大医学部生物統計学専攻だからであろう。 https://diamond.jp/articles/-/52085
私の備忘の為に要約を羅列しておくことにする。個人的にわたくしが実際の事件処理でもこれは使える！と思った個所は158～168頁の『ゴルトンの回帰分析の限界』の箇所である。
--------------------------------------------------------------------------
・統計学が最強の武器になる理由は、どんな分野の議論においても、データを集めて分析することで最速で最善の答えを出すことができるから。
統計学は人類の命を原因不明の疾病から守るための疫学のジャンルから出発したが、EBM（科学的根拠に基づく医療）として最も重視されるものの1つが、妥当な方法によって得られたデータとその分析結果。医学の実にとどまらず教育や経済政策にも波及していく。
・全数調査にこだわる必要はない、正しい判断に必要な最小十分のデータを集めるサンプリング調査でも足りると考えるべき。サンプリング調査は驚くほど正確である。
例えば、サンプリング失業率が25％という調査結果が得られ、標準誤差が0・5％ならば、全数調査をした結果得られるであろう真の失業率も24～26％の間にあると考えてほぼ間違いないことが、統計学者により既に証明されている。
・標準誤差とは、サンプルから得られた数値に対して、標準誤差の2倍を引いた値から、標準誤差の2倍を足した値までの範囲に、真の値が含まれている信頼性が95％になる数値を意味する。
標準誤差は現実のデータからエクセルで計算できる
http://www.ipc.shimane-u.ac.jp/food/kobayasi/se_excel.html
・ビジネスでデータ分析を依頼する際に大事なのは《なんかの要因が変化すれば利益は向上するのか》《そうした変化を起こすような行動は実際に可能なのか》《変化を起こす行動が可能だとしてそのコストは利益を上回るのか》という3つの問いに答えているか否かということで、それにこたえていない分析は精度やスピードがどうとかいう以前にやるだけ無駄。なんとなくわかった気になる以上の価値はない。
・適切な比較を行うことを意識して分析しなければとんでもない結論を導きかねない。
Q。。。次の全てを満たす食べ物の摂取を日本では禁止すべきという政策について、それを反駁する理由はありますか？ A。。。この食べ物とはご飯。
心筋梗塞で死亡した日本人の95％以上が生前常習的にこの食べ物を食べていた。
強盗や殺人などの凶悪犯の70％以上が犯行前24時間以内にこの食べ物を食べている。
江戸時代以降に日本で起こった民衆暴動のほとんどはこの食べ物が原因である。
・あるある経験はしばしば間違う。例えばマーフィーの法則に「にわか雨が降っているときに外出先で傘を買うと、たいていその買った後に晴れる」とあるが、記憶の偏りに左右されたもの。つまり、これまでの人生で何十回以上も経験した、にわか雨が降って傘を買った経験のうち、何事もなく傘をさして帰った記憶よりもその直後に晴れて舌打ちした記憶のほうを強烈に覚えているだけ。
俗にある成功法則も、ほんの数例の偏った成功体験を過剰に一般化したものである危険が高い。
・A／BテストとはAパターンとBパターンを両方試してみて比較するという手法で、統計学ではランダム化比較試験と呼ぶ。
・Aパターンで出た数値とBパターンで出た数値との差が意味のある偏りなのか、誤差でも生じる程度の差なのかを確かめる解析手法にカイ二乗検定がある。
・実際には何の差もないのに誤差や偶然によってたまたま差が生じる確率をP値と呼ぶ。このP値が小さければ（慣例的には5％以下）、科学者たちはこの結果は偶然得られたとは考えにくいと判断する。
P値の計算方法 https://best-biostatistics.com/hypo_test/p-value.html#P-3
・適切な比較とは何かであるが、抽象的には目指すゴールを達成したものとそうでないものとの違いを比較すること。目指すゴールは目的それぞれである。
・因果関係には向きがあることを忘れてはならない。
子供が暴力的なテレビゲームで遊んでいたかどうかという質問項目と、子供の犯罪歴の有無の関連性を調査し、少年犯罪者のほうが暴力的なテレビゲームで遊んでいた割合が高かったという結果が得られたとしても、もともと暴力を好む人間だから暴力的なテレビゲームをより好み、だから犯罪にも手を染めた可能性も否定できない。
つまり、暴力的なテレビゲームを禁止することで少年犯罪が減るかどうかは、因果関係の向きがハッキリしていなければなんとも言えないのだ。
・一時点のデータから因果関係の向きがわからないのは、実はこの比較している集団が同じ条件ではないことに由来する。暴力的なテレビゲームと少年犯罪の関連性を調べたいのなら、他の条件は全く同じだが暴力的なゲームのプレイの有無だけ異なっているという集団同士を比較するのが理想。
統計学は、関連しそうな条件を考えうるかぎり継続的に追跡調査することで測定条件の類似性を絞り込んでいく手法を用意している。
・ランダム化比較実験が強力なのは、人間が制御しうる何者についてもその因果関係を分析できるから。ランダム化比較実験が誤差ある現象への実験と観察つまり社会科学を可能とした。
・ランダム化比較実験は過ちを犯す可能性を小さなコストとリスクでつぶすことができる。逆に言えば、小さなコストとリスクであえて馬鹿な思い付きを試して実証することができる。
ミシンを2台売ったら1割引きで売り上げがあがるのか？という実験をしたところ、ミシンは普通1家に1台あれば足りるから馬鹿な提案だと思ったが、実際にやってみたらわざわざ隣人を誘ってミシンを共同購入する人が増えたので売り上げはのびた。
統計学的な裏付けもないのに絶対正しいと決めつけることがおかしいのと同じくらい、絶対誤りと決めつけるのも愚かである。裏づけある正解がないのならば、とりあえずランダムに実行する選択肢の価値はもっと認められるべき。
・ランダムとは人間の石が入り込まずに無作為に抽出されるということ。意外とランダムは難しい、AとBという文字を3回ランダムに並べてくださいと問われると、確率的にはAAAが12・5％、BBBが12・5％のはずだが人間は3文字続くと不自然かなと感じてこのパターンは避けがちである。
・ランダム化には現実・倫理・感情の3つの壁がある。ランダム化できない場合には、ケースコントロール研究（疫学であれば関心のある病気となった患者に案して、関心ある疾患とリスク要因の有無以外は条件の良く似た人を比較対照する）がある。
そろえきれない条件が存在している可能性は捨てきれないが、疫学研究はランダム化比較実験に比べてあまり差がなかった。
・回帰分析とは、一方のデータから他方のデータを予測する数式を推定すること。この数式で記述される直線を回帰直線と呼ぶ。両親の身長と子供の身長の相関関係を調べたところ、回帰直線では切片＋回帰係数の比例関係は導かれたものの、実際には平均値への回帰が見受けられた（実際のデータは理論上の推測よりも平均値に近づきがち）。
具体的には、小柄な親の息子は親よりも背が高くなる可能性が割と高く、高身長の親の息子は親よりも背が低くなる可能性が割と高いこと。身長という遺伝的要素が強いと言われているものですら、そういう平均値への回帰が見受けられた。
平均値への回帰という現象がなぜ起こるかと言えば、世の中の全ての現象がバラつきを持っているから。ばらつきを持つ現象に対する理論的な予測はそれほどうまくいかない。だから、回帰数式を得られただけで満足して演繹的な処理をしてはならない。依然として誤差が存在することは変わりない。誤差を考慮しない分析は皮算用。
・回帰分析だけでは、ばらつきが小さいグラフとばらつきが大きいグラフは区分できないし、ばらつきが大きいグラフはほんのわずかにデータ量が減るだけで回帰式自体が変容することすらある。
回帰係数の切片も傾きもあくまでデータに基づき真値を推定したにとどまることを留意。
・統計学の手法は一般化線形モデルに収れんされる。
・t検定とはある集団A（例：日本人男性）があって、そのメンバーがそれぞれ何らかの値（身長や体重）を持っており、別の集団B（例：日本人女性）があって、そのメンバーも同じ種類の値（身長や体重）を持っている場合に、集団Aの値と集団Bの値の平均値をとったなら、その2つの平均値には差があって当然であるが、その差が偶然生じる可能性を探るというもの。
偶然生じる可能性が低ければ、2つの集団にはその値について本物の差があると考えてよい、というのがt検定の考えである。
・統計のウソに騙されてしまうシンプソンのパラドックスが面白い。全集団同士での単純比較が、その内訳となる小集団同士との比較の結果と矛盾するというもの。重回帰分析で回避できる。
https://careerconnection.jp/biz/economics/content_906.html
・ランダム化が困難なデータでの因果関係の特定の際に、傾向スコアという解決策がある。傾向スコアとは、興味のある2つの値の説明変数について、どちらに該当するかという確率のことを言う。
・統計学には、実態把握を行う古典的な社会調査法・原因究明のための疫学生物統計学・IQを編み出した心理統計学・マーケティングの現場で生まれたデータマイニング・自然言語処理のためのテキストマイニング・経済モデルを作成し統計学を用いてその妥当性を検証する計量経済学の6つに区分される。POSデータを使ったデータマイニングで有名なのがバスケット分析である
https://www.tanapower.com/series/category_management/7.htm
データマイニングにはクラスター分析というのもある
https://www.albert2005.co.jp/knowledge/data_mining/cluster/cluster_summary
SNSで顔写真が複数上がった場合に機械的にタグ付けされることがあるが、似た者集めのクラスター分析分析を利用している。マーケティングの世界だと、顧客層をセレブかキャリア志向かに区分けし、それぞれの階層に対応してつくるべき商品や広告を区分することをいう。
テキストマイニングは検索エンジンが似た言葉を探す際に活用されている。
・確率自体に対して、ベイズ論VS頻度論という対立軸がある。表と裏の出る確率が同じ本物のコインと、表が出る確率が8割と大きく異なる偽物のコインの2種類がある場合に、投げた回数を集計してどちらのコインか分析する手法だが、アプローチが異なる。
例えば、10回投げて10回とも表が出たとしよう。
頻度論者は、もし本物のコインならば10回投げて偶然10回とも表となる確率は2分の1の10乗すなわち0・1％しかないが、もし偽物のコインならば5分の4の10乗すなわち10％あるから、本物のコインという仮説よりは捨て去りやすく偽物のコインという仮説は捨て去りにくいので偽物のコインと判断する。つまり、頻度論は確率を何回中の何回といった頻度でとらえようとする。
他方、ベイズ論者は、コインが10回連続表になった結果を前にして、コインが10回連続表になる確率は100％であることから（人間が人間である確率はという問いと同じ）、さきほどの0・1％と10％との対比を考えると、本物のコインである確率は0・90％で偽物のコインである確率は99・1％と計算することがであるから、はるかに偽物のコインである事後確率が高いと考える。
ベイズ論は頻度論に比べ、十分なデータ量か否かハッキリしないときに暫定的な結論を下すのに役に立つ。例えば3回しかコインを投げられなかった状態では頻度論ではあまりに頻度が小さすぎて判断できないが、ベイズ論ではとりあえずの可能性は判断できる。
そのため、新薬治験など過ちが許されない疫学生物統計学では頻度論者が多く、計量経済学では理論を事前確率という形で活用しやすいベイズ論が多い。例えば迷惑メールの選別は迅速な判断のほうが優先されるからベイズ論のほうがなじみやすい。
ベイズ論と頻度論のどちらが正しくてどちらが誤りという関係はなく、限られた情報と仮定を組み合わせる効率の良さを求めるならベイズを使えばよいし、十分なデータを使えるなら頻度論がよい。
・エビデンスにはヒエラルキーがある。最上位は系統的レビュー（あらかじめレビューする論文の条件を決めたうえで機械的に該当するものすべてを選び出す。自説に都合の良い論文ばかり引用した叙述的レビューとはれっきとして異なる）とメタアナリシス（系統的レビューの中で報告された統計解析の結果を、さらに解析してまとめあげる作業のこと）であり、ランダム化比較実験、疫学観察研究、専門家の意見や基礎実験という順序になる。
・日本語で操作できる文献データベースはCINIIとJ-STAGEが代表格である。