Statistic.tex

%#!platexmake CheatSheet
%%% Time-Stamp: <>
%%% 一部で日本語が使用されています。

\newcommand\ev{\expval}
\newcommand\func[1]{\mathop{\mathrm{#1}}}

\section{Statistics}

Histogram の階級数についてのSturgesの公式 $k\approx 1+\log_2 n$ （$n$:観測値の数）

\paragraph{分布の代表値}
\begin{align}
 &\text{算術平均}\ \overline x := \frac1n\sum x_i,\quad
  \text{幾何平均}\ x_G   := \left(\prod x_i\right)^{1/n},\quad
  \text{調和平均}\ x_H   := n\left(\sum \frac1{x_i}\right)^{-1};\\
 &\text{中央値，$n$分位点，最頻値，mid-range，……}
\end{align}
\paragraph{分布の散らばり}
\begin{align}
 &\text{平均偏差}\ d := \frac1n\sum\left|x_i-\overline x\right|, \quad
  \text{標準偏差（分散）}\ S^2 := \frac1n\sum(x_i-\overline x)^2, \quad
  \text{変動係数}\ C.V. := S_x/\overline x;\\
 &\text{平均差}\ M.D. := \frac1{n^2}\sum_i\sum_j\left|x_i-x_j\right|, \quad
  \text{Gini係数}\ G.I.:= \frac{M.D.}{2\overline x} = \frac1{2n^2\overline x}\sum_i\sum_j\left|x_i-x_j\right|;\\
 &\text{Entropy}\ H = -\sum p_i\log p_i \quad\text{（$p$:相対頻度）}\quad
  \text{… 一ヶ所集中$=0\le H \le 1=$等確率}\\
 &\text{範囲，四分位偏差，……}
\end{align}
\paragraph{相関を表す量}
\begin{align}
 &\text{共分散}\    C_{xy}  :=\frac1n\sum(x_i-\overline x)(y_i-\overline y)&
 &\text{相関係数}\   r_{xy}  :=\frac{C_{xy}}{S_xS_y}  \quad -1\le r_{xy} \le 1, \text{線型不変}\\
 &\text{偏相関関数}\ r_{12;3}:=\frac{r_{12}-r_{13}r_{23}}{\sqrt{1-{r_{13}}^2}\sqrt{1-{r_{23}}^2}}&
 &\text{系列相関関数}\ r_h:=\frac1{S_x}\sum_{i=1}^{n-h}\frac{(x_i-\overline x)(x_i+h-\overline x)}{n-h}
\end{align}
 \text{順位相関関数 … 順位の組 $\{R_i\}$，$\{R_i'\}$ の間の相関}
\begin{align}
 &\qquad \text{Spearman}:\
     r\s S := 1 - \frac6{n(n^2-1)}\sum(R_i-R_i')^2\quad\text{（通常の相関関数）}\\
 &\qquad \text{Kendall}:\ 
     r\s K := \frac{\sum G_{ij}}{n(n-1)/2}\where
       \text{$G_{ij}:=(i,j)$に対して同順なら$+1$，逆順なら$-1$}
\end{align}

\paragraph{条件付き確率}
\begin{equation}
  P(A|B)=\frac{P(A\cap B)}{P(B)}
\end{equation}
Bayesの定理: 事象$\{H_i\}$が互いに排反かつ全体を尽くしているとき，
\begin{equation}
 P(A)=\sum P(A\cap H_i) \quad \text{によって} \quad
  P(H_i|A)=\frac{P(H_i)P(A|H_i)}{\sum_{k}P(H_k)P(A|H_k)}.
\end{equation}

相関係数の分布 （$\rho$:母集団の（真の）相関係数）
\begin{equation}
 f(r)=
  \frac{ \left(1-\rho^2\right)^{(n-1)/2}\left(1-r^2\right)^{(n-4)/2}}
       { \Gamma\left(\frac12\right) \Gamma\left(\frac{n-1}2\right) \Gamma\left(\frac{n-2}2\right) }
\sum_{i=0}^\infty\frac{(2\rho r)^i}{i!}\left[\Gamma\left(\frac{n-1+i}2\right)\right]^2
\end{equation}

\paragraph{確率分布に対する Moment}
\begin{align}
 &\text{Moment }\mu_r:=\ev{X^r};\quad \mu'_r:=\left\langle(X-\mu)^r \right\rangle \qquad\quad
  \text{標準化 moment }\alpha_r :=\left\langle(X-\mu)^r \right\rangle/\sigma^r\\
 & \text{Moment母関数 }  M_X(t):=\ev{\exp(tX)}\Longrightarrow \mu_r=\diff[n]{}{t}M_X(t)
\end{align}
\begin{align}
 \text{期待値}  \ &\mu:=\mu_1;& \text{計算の便法}\colon\  \mu'_2&=\ev{X^2}-\mu^2\\
 \text{分散}    \ &\sigma^2:=\mu'_2;\quad \text{標準偏差}\ \sigma:=\sqrt{\sigma^2};&
 \mu'_3&=\ev{X^3}-3\mu\mu_2+2\mu^3\\
 \text{歪度}    \ &C\s{skew}:=\alpha_3;\quad \text{尖度}    \ C\s{kurt}:=\alpha_4 - 3&
 \mu'_4&=\ev{X^4}-4\mu\mu_3+6\mu^2\mu_2-3\mu^4
\end{align}
\paragraph{Chebyshevの不等式}
いかなる確率変数に対しても，$\displaystyle P\Bigl(|X-\mu|\ge k\sigma\Bigr)\le\frac1{k^2}$.

\paragraph{Stirlingの公式}
\begin{equation}
 \log n! = \left(n+\frac12\right)\log n - n + \frac{\log2\pi}2
         + \frac1{12n}-\frac1{360n^3}+\frac1{1260n^5}-\frac1{1680n^7}+\frac1{1188n^9}+\Order(n^{-11})
\end{equation}

\subsection{離散型確率分布}
\paragraph{超幾何分布}
(A,B)が$(M,N-M)$個あるとき，$n$個取り出して$(k,n-k)$個である確率。非復元捕獲。
\begin{align}
P_k&=\frac{\combi MCk\ \combi {N-M}C{n-k}}{\combi NCn}&
E=np,\quad&V=np(1-p)\frac{N-n}{N-1}&(p:=M/N)
\end{align}
\paragraph{二項分布}
確率$p$で起きる事象が，$n$回のうち$k$回起こる確率。復元捕獲，Bernoulli試行。
\begin{align}
 P_k&=\combi nCk\cdot p^k(1-p)^{n-k}&
E=np,\quad&V=np(1-p)&
&\text{($n=1$\ :\ Bernoulli分布)}
\end{align}
\paragraph{Poisson分布}
二項分布において$np=\lambda$一定で$n\to\infty,\ p\to0$として，
$\displaystyle P_k=\frac{\ee^{-\lambda}\lambda^k}{k!}$,\quad$E=V=\lambda$.

\paragraph{幾何分布}
確率$p$の事象が起こるまでの{\bf 失敗}回数$k$の分布。
\begin{align}
 P_k&=p(1-p)^k&
 E=\frac{1-p}{p},&\quad V=\frac{1-p}{p^2}.
\end{align}
\paragraph{負の二項分布(Pascal分布)}
確率$p$の事象が$n$回起こるまでの{\bf 失敗}回数$k$の分布。(試行は$n+k$回)
\begin{align}
 P_k&=\combi{n+k-1}Ck\ p^n(1-p)^k&
 E=\frac{k(1-p)}{p},&\quad V=\frac{k(1-p)}{p^2}.
\end{align}
\paragraph{一様分布}
\begin{equation}
 P_k=\frac{1}{N},\qquad
 E=\frac{N+1}{2},\quad V=\frac{N^2-1}{12}.
\end{equation}
\newpage
\subsection{連続型確率分布}
\paragraph{正規分布}
\begin{equation}
 \func N[\mu,\sigma]=\frac{1}{\sqrt{2\pi}\sigma}\exp\left[-\frac{(x-\mu)^2}{2\sigma^2}\right];
  \qquad E=\mu,\quad V=\sigma^2.
\end{equation}
\paragraph{指数分布}
\begin{equation}
 \func{Ex}[\lambda]=\func{Ga}[\lambda,1]=
\lambda\ee^{-\lambda x}\quad(x\ge0);
  \qquad E=\frac1\lambda,\quad V=\frac1{\lambda^2}.
\end{equation}
\paragraph{Gamma分布}
\begin{equation}
 \func{Ga}[\lambda,\alpha]=\frac{\lambda^\alpha}{\Gamma(\alpha)}x^{\alpha-1}\ee^{-\lambda x}\quad(x\ge0);
  \qquad E=\frac{\alpha}{\lambda},\quad V=\frac{\alpha}{\lambda^2}.
\end{equation}
\paragraph{$\chi^2$分布}
\begin{equation}
 \func{\chi^2}[n]=\func{Ga}[1/2,n/2]=\frac{1}{\Gamma(n/2)}
\sqrt{\frac{x^{n-2}\ee^{-x}}{2^n}}
\quad(x\ge0);
  \qquad E=n,\quad V=2n.
\end{equation}
\paragraph{Beta分布}
\begin{align}
  \func{Be}[\alpha,\beta]=\frac{x^{\alpha-1}(1-x)^{\beta-1}}{B(\alpha,\beta)}
\quad(0<x<1),
  \qquad E=\frac{\alpha}{\alpha+\beta},\quad V=\frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)}.
\\
\where B(\alpha,\beta)=\int_0^1x^{\alpha-1}(1-x)^{\beta-1}\dd x=\frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)}
\end{align}
\paragraph{Cauchy分布}
\begin{equation}
 f[\alpha,\lambda]=\frac{\alpha}{\pi}\left[(x-\lambda)^2+\alpha^2\right];\qquad
  \text{$E$と$V$は定義されない。}
\end{equation}
\paragraph{対数正規分布}所得の分布。$\log x$が正規分布$N[\mu,\sigma]$に従うとき，
\begin{equation}
 f[\mu,\sigma]=\frac1{\sqrt{2\pi}\sigma}\frac1x\exp\frac{-(\log x-\mu)^2}{2\sigma^2};\qquad
E=\ee^{\mu+\sigma^2/2},\quad
V=\ee^{2\mu+2\sigma^2}-\ee^{2\mu+\sigma^2}.
\end{equation}
\paragraph{Pareto分布}高額所得の分布。$E$と$V$はそれぞれ$a>1$, $a>2$でのみ定義される。
\begin{equation}
  f_{[a,x_0]}=\frac{a}{x_0}\left(\frac{x_0}{x}\right)^{a+1}\quad(x\ge x_0;\quad a>0);\qquad
E=\frac{a x_0}{a-1},\qquad
V=\frac{a x_0^2}{a-2}-\left(\frac{a x_0}{a-1}\right)^2.
\end{equation}
\paragraph{Weibull分布}$a>0$, $b>0$とする。
\begin{equation}
 f[a,b]=\frac{b}{a^b}x^{b-1}\exp\left[-\left(\frac xa\right)^b\right]\quad(x\ge0);\qquad
E=a\Gamma\left(1+\frac1b\right),\quad
V=a^2\left[\Gamma\Bigl(1+\frac2b\Bigr)-\left[\Gamma\Bigl(1+\frac1b\Bigr)\right]^2\right]
\end{equation}
%%% Local Variables:
%%% TeX-master: "CheatSheet.tex"
%%% End: