ゆるふわブログ

東京大学理科 I 類 2 年の学生です.プログラミング,大学の勉強,日常生活で感じたことをゆるふわに書いていけたらなと思います.技術的に拙いところがあっても温かい目で見守っていただければ幸いです.

生存数の分布とカノニカル分布の類似性

このような記事を拝見しました*1

www.procrasist.com

この「何ヶ月ブログが続いているか」のヒストグラムが,最近統計力学の試験勉強をしていたこともあり,カノニカル分布*2 (要するに指数分布) に似ていることに気づいたので,考えたことを綴ろうと思います.

統計力学の理解ゆるゆるなので,おかしかったら教えてください.

カノニカル分布とは

統計力学ではミクロな世界の仕組みでマクロな世界の熱力学的物理量を説明するわけですが,そこに確率モデルを用います.
例えば気体分子の数はアボガドロ数 10^{23} オーダーですから,ここに運動方程式を立式して解くというのは現実的ではありません.数が莫大すぎるのです.
そこで,その数の莫大さを逆手に取り,莫大がゆえに確定的な議論ができるように確率モデルを導入するのです.
個々の量子状態に対応する確率を重み付けし,その総和を取れば期待値 (平均) が求められます.ですが,確率を用いている以上,それには不確かさ (ゆらぎ) が存在します.しかしながら,数が莫大がゆえにそのゆらぎは限りなく小さくなり,確率といういわば "不確かな" ものを用いて計算しているにもかかわらず,実質的には確定的な物理量を議論できるのです.そのような期待値として,ミクロの理論からマクロな物理量をひねり出します.
さて,ここで,各量子状態に対して,どのように確率を重み付けするかということが問題になります.
熱平衡状態として実現するマクロな状態を司るミクロな量子状態は,全ての量子状態の中で圧倒的大多数を占めており,また,その中でミクロな量子状態が異なってもマクロには区別がつきません.
そこで一番愚直には,全ての量子状態に一様に同じ確率を重み付けするというのが考えられます.すなわち,全ての状態数を  W とすると, \frac{1}{W} で確率が一定として重み付けするのです.
これをミクロカノニカル分布といいます.
もう少し凝ると,熱平衡状態を注目している系に対して圧倒的に巨大な熱浴にくっつけて実現していると考えて,頑張ると,量子状態  i のエネルギーが  E_i として,次のような確率モデルが考えられます.

f:id:Ysmr_Ry:20170720234055p:plain

 Z(\beta) は分配関数といい,単に確率の総和を 1 にするためのつじつま合わせの定数です.
要するに,エネルギー  E を持つ確率は  e^{-\beta E} (指数関数) に比例するということです.
これをカノニカル分布といいます.

カノニカル分布と貧富の格差

このように,とある分布が非自明に指数分布に従うと言ったことは,他の場面でも起きていて,(ブログのヒストグラムもその一種ではないかと考えているのですが) そのなかで最たるものが "貧富の格差の分布" です.

www.procrasist.com

d.hatena.ne.jp

カノニカル分布は,大雑把には,全エネルギーが一定の条件下の元でランダムに分配されると,エネルギー  E を持っている確率が  e^{-\beta E} に比例するという分布 (指数分布) に落ち着くということです.
エネルギーをお金だと思うと,世の中に流通するお金の総和は一定として,ランダムに分配がなされると,その分布は指数分布となり,貧乏 ~ 平凡がたくさんいる一方,持っているお金が上がれば上がるほど,それこそ指数関数的に急激に数が減っていくという,この世の理不尽がわかると思います.
つまり,お金の例とカノニカル分布の裏には共通の理屈が走っていることになります.
これがカノニカル分布を "直感的" に捉える上で重要だと個人的には思っています.
では,その理屈とはなんなのか.
それは,「総和一定という条件付きで,一様分布にもっとも "近い" 分布が指数分布である」ということです.

カノニカル分布の情報理論的導出

まあ,全てこの資料を見ていただければ解決なのですが,

http://genkuroki.web.fc2.com/20160616KullbackLeibler.pdf

簡単に説明します.
母集団分布  q に従っている母集団から,標本を抽出し,その経験分布を  p とします.
大数の法則から,抽出する標本の数を無限に飛ばせば  q p は一致します.
しかしながら,今考えたいのは,条件付きで抽出する標本の数を無限に飛ばせば母集団分布  q に対して経験分布  p はどうなるのかということです.
そこで,2 つの分布  p,\ q の "距離" を測る,カルバック・ライブラー (Kullback-Leibler) 情報量  D(p||q) を導入します.

f:id:Ysmr_Ry:20170721002235p:plain

これがなぜ分布の距離を測るのかは,上記資料の 1.1 ~ 1.3 節を読んでいただければ,多項分布と Stirling の公式から鮮やかに導出される様子が見れると思うのですが,
要するに,経験分布がほぼ  p になる確率  r というのが, \log r = -nD(p||q) という関係で結ばれていて, D(p||q) が最小になれば  r が最大となり,その  p が経験分布として実現することを意味することになるのです.
直感的には  D(p||q) が分布  p q の距離を表しており,実際に実現する経験分布  p はこの量を最小化する (もっとも近い) 分布に落ち着くということです.
また,情報理論的な相対エントロピー S(p||q) = -D(p||q) と定義でき,これは最大化します.このエントロピーは熱力学・統計力学に登場するエントロピーと定数倍の差しかなく,エントロピー増大の法則がわかると思います.

今,考えたいのは,条件付き大数の法則ですから,つまり,条件付きで  D(p||q) を最小化するということです.
まあ,お馴染みの Lagrange の未定乗数法を使うわけです.
 p の総和が 1 であること, p によるエネルギーの期待値が内部エネルギー  U であること (期待値 (平均) ではなく,総和でも OK) を等号条件として課し, D(p||q) を最小化すると,

f:id:Ysmr_Ry:20170721004457p:plain

と,元の分布  q e^{-\beta E} をつけただけになります*3
このあたりの詳細が知りたい人は,資料の 2.1 ~ 2.2 節らへんを見ると幸せになれます.
つまり,統計力学で考えているカノニカル分布は,母集団分布  q が全て一定の一様分布になっていることがわかります.
ミクロカノニカル分布が一様分布ですから,ちょうどエネルギーの期待値が内部エネルギーと一致するようにした上で,ミクロカノニカルにもっとも近い分布を自らの拡張として選んだ,ということでしょうか.
よく統計力学の本とか授業とかで Stirling の公式と Lagrange の未定乗数法を組み合わせて導出しますが,その本質は,"分布の距離の最小化" なのです.

つまり何が言いたいの

つまり,ブログのヒストグラムは,ブログの生存数の総和がほぼ一定なのではないかということです.その上で完全に一様に分配されるのなら,上記で語ってきたメカニズムで持って  m ヶ月生き残ったブログがいる確率は  e^{-m} に比例しているのではないかと.
ブログの生存数は,気体分子の中の速度分布や貧富の格差の分布と,本質的に同じ形をしているかもしれないという話です.

*1:リンク貼らせてもらいましたが,問題があればお申し付けください (他のリンクも同様)

*2:統計力学でもっとも有用と言っても良い確率モデル

*3:これから,カノニカル分布にとって当重率の原理 (母集団分布を一様分布にするということ) は本質的ではないことがわかります.