\documentclass[a4paper]{bxjsarticle}
\usepackage{zxjatype}
\usepackage[ipa]{zxjafont}
%% Use packages-----------------
\usepackage{amsmath}
\usepackage{graphicx}
\usepackage{url}
\usepackage{here}
\usepackage{hyperref}
\usepackage[margin=5pt]{subcaption}
\usepackage{amssymb}
%%------------------------------
\title{応用数学}
%\author{東方涼介(1w162268-5)}
%\date{\today}
\begin{document}
\maketitle
\section{スカラーとベクトルの違い、行列}
\subsection{スカラー}
普通の数
\begin{itemize}
\item $+$, $-$, $\times$, $\div$ の演算が可能
\item ベクトルに対する係数になれる
\end{itemize}
\subsection{ベクトル}
\begin{itemize}
\item 「大きさ」と「向き」を持つ
\item 矢印で図示される
\end{itemize}
\subsection{行列}
\begin{itemize}
\item スカラーを表にしたもの
\item ベクトルを並べたもの（ベクトルのベクトル）
\end{itemize}
\subsection{行列とベクトルの積、行列の積}
\subsubsection{行列とベクトルの積}
\[
\left(
\begin{array}{cc}
a & b \\
c & d
\end{array}
\right)
\left(
\begin{array}{c}
e \\
f
\end{array}
\right)
=
\left(
\begin{array}{c}
a \times e + c \times e \\
b \times f + d \times f
\end{array}
\right)
\]
\subsubsection{行列の積}
\[
\left(
\begin{array}{cc}
a & b \\
c & d
\end{array}
\right)
\left(
\begin{array}{cc}
e & f \\
g & h
\end{array}
\right)
=
\left(
\begin{array}{cc}
ae + bg & af + bh \\
ce + dg & cf + dh
\end{array}
\right)
\]
\subsection{連立 1 次方程式}
\begin{itemize}
\item 連立 1 次方程式は行列を使った形式で表すことが可能。
\item 行基本変形は行列の変形と言い換えられる。
\item (行列を左から掛けることで表現できる)
\end{itemize}
\subsection{逆行列, 逆行列が存在しない条件}
\subsubsection{単位行列 (Identity matrix)}
単位行列とは、主対角線上の要素がすべて1で、その他の要素がすべて0である正方行列のことを指す。
\subsubsection{逆行列 (Inverse matrix)}
$\mathbf{A}$を正方行列とし、$\mathbf{I}$を同じ大きさの単位行列とする。このとき、
\[
\mathbf{AA}^{-1} = \mathbf{A}^{-1}\mathbf{A} = \mathbf{I}
\]
が成り立つような正方行列$\mathbf{A}^{-1}$が存在するとき、これを$\mathbf{A}$の逆行列 (inverse of the matrix) という。
逆行列は掃き出し法、もしくは余因子行列を用いた計算で求められる。
\subsubsection{逆行列が存在しない条件}
行列式が0である場合は逆行列は存在しない。
\subsection{固有値と固有ベクトル}
$\mathbf{A}$を$n$次正方行列とする。このとき、ある$\mathbf{x}\in\mathbb{C}^n\backslash\{0\}$が存在して、
\[
\mathbf{Ax} = \lambda\mathbf{x}
\]
となるとき、$\lambda$を固有値(eigenvalue)、$\mathbf{x}$をその固有値に対する固有ベクトル(eigenvector)という
\subsection{固有値分解}
正方行列が固有値、固有ベクトルを持つとき、
\[
\mathbf{A} = \mathbf{V\Lambda V}^{-1}
\]
ただし、$\mathbf{\Lambda} = \begin{pmatrix} \lambda_1 \\ & \lambda_2 \\ && \ddots \end{pmatrix}$、$\mathbf{V} = (\mathbf{v_1} \mathbf{v_2} \cdots)$
と変形することを固有値分解という。
\subsection{特異値分解}
\subsubsection{特異値、特異ベクトル}
任意の非ゼロ行列$\mathbf{A}(m\times n)$に対して、
\[
\mathbf{Av} = \sigma\mathbf{u}, \quad \mathbf{A}^{\top}\mathbf{u} = \sigma\mathbf{v}
\]
を満たす正の数$\sigma$を特異値、$m$次元ベクトル$\mathbf{u}$を左特異ベクトル、$n$次元ベクトル$\mathbf{v}$を右特異ベクトルと呼ぶ。ただし、$\mathbf{u}$と$\mathbf{v}$はともにゼロベクトルではないことが前提。
特異値分解は、行列$\mathbf{A}$を以下のように分解すること。
\[
\mathbf{A} = \mathbf{U\Sigma V}^{\top}
\]
ここで、$\mathbf{U}$と$\mathbf{V}$は直交行列(その列ベクトルが正規直交基底を形成する行列)であり、$\mathbf{U}$の列ベクトルは左特異ベクトル、$\mathbf{V}$の列ベクトルは右特異ベクトルである。$\mathbf{\Sigma}$は対角行列で、その対角成分に特異値が大きい順に並べられている。
\section{確率統計}
\begin{itemize}
\item 頻度確率 (客観確率)：発生する頻度
\item ベイズ確率 (主観確率)：信念の度合い
\end{itemize}
\subsection{条件付き確率}
ある事象 $X = x$ が与えられた元で、$Y = y$ となる確率は以下のように表される:
\[
P(Y = y|X = x) = \frac{P(Y = y, X = x)}{P(X = x)}
\]
\subsection{独立な事象の同時確率}
お互いの発生には因果関係のない (独立な) 事象 $X = x$ と事象 $Y = y$ が同時に発生する確率は以下のように表される:
\[
P(Y = y, X = x) = P(X = x)P(Y = y)
\]
\subsection{ベイズ則}
\[
P(A|B) = \frac{P(B|A)P(A)}{P(B)}
\]
ここで、
\begin{itemize}
\item $P(A|B)$ は、事象 $B$ が起こったときの事象 $A$ の条件付き確率
\item $P(B|A)$ は、事象 $A$ が起こったときの事象 $B$ の条件付き確率
\item $P(A)$ は事象 $A$ の事前確率
\item $P(B)$ は事象 $B$ の事前確率
\end{itemize}
\subsection{記述統計}
集団の性質を要約し記述する。
\subsection{推測統計}
集団から一部を取り出し、元の集団(母集団)の性質を推測する。
\subsection{確率変数と確率分布}
\subsubsection{確率変数}
裏が0、表が1と対応させた和と、事象が発生した回数。
\subsection{期待値}
その分布における、確率変数の「ありえそう」な値。
\subsubsection{離散値の場合}
$\sum_{i=1}^{n} P(X = x_i)f(X = x_i)$
\subsubsection{連続値の場合}
$\int P(X=x)f(X=x)dx$
\subsection{分散}
- データの散らばり具合
- データの各々の値が、期待値からどれだけ離れているかを表す
分散$Var(f) = E([(x_i-\mu)^2]) = E[(f(x_i)-E(f))^2]$
\subsection{共分散}
- 2つのデータ系列の傾向の違い
- 正の値を取れば似た傾向
- 負の値を取れば逆の傾向
- 0を取れば無相関
共分散$Cov(f,g) = E([(f(x_i)-E(f))(g(y_i)-E(g))]) = E[fg] - E[f]E[g]$
\subsection{分散と標準偏差}
分散は2乗してあるので、元のデータと単位が異なる。ルートを取れば元の単位に戻る。
$\sigma = \sqrt{Var(f)} = \sqrt{E[(f(x_i)-E(f))^2]}$
\subsection{さまざまな確率分布}
\subsubsection{ベルヌーイ分布}
コインの表と裏の割合が等しくなくても使える。
$P(x|\mu) = \mu^x(1-\mu)^{1-x}$
ここで、$x=0$(裏)が1(表)として、表が出る確率$\mu=1/3$とすれば、裏が出る確率$1-\mu=2/3$となる。
\subsubsection{二項分布}
ベルヌーイ分布の多試行版。
確率関数:
$P(x|\lambda,n) = \frac{n!}{x!(n-x)!}\lambda^x(1-\lambda)^{n-x}$
ここで、$x$は成功回数、$n$は試行回数、$\lambda$は成功確率を表します。
\subsubsection{ガウス分布}
釣鐘型の連続分布。真の分布がわからなくてもサンプルが多ければ正規分布に従う。
\subsection{推定}
母集団を特徴づける母数(パラメータ:平均など)を統計学的に推測すること。
\subsubsection{点推定}
平均値などの1つの値に推定すること。
\subsubsection{区間推定}
平均値などが存在する範囲(区間)を推定すること。
\subsection{推定量と推定値}
\subsubsection{推定量(estimator)}
パラメータを推定するために利用する数値の計算方法や計算式のこと。推定関数。
\subsubsection{推定値(estimate)}
実際に行った結果から計算した値。
真の値を$\theta$とすると、推定量または推定値は$\hat{\theta}$のように表す。
\subsection{標本平均}
母集団から取り出した標本の平均値。点推定の代表的なもの。
- 一致性: サンプル数が大きくなれば、母集団の値に近づく
- 不偏性: サンプル数がいくらであっても、その期待値は母集団の値と同様
\subsubsection{標本分散}
$s^2 = \frac{1}{n}\sum_{i=1}^n(x_i - \bar{x})^2$
\subsubsection{不偏分散}
標本分散の補正。
標本分散は、一致性は満たすが、不偏性を満たさない。たくさんのデータのばらつき具合と
小数のデータのばらつき具合だと、小数の方がばらつく。そのため補正する。
標本分散の不偏推定量:
$s^2 = \frac{n}{n-1}\cdot\frac{1}{n}\sum_{i=1}^n(x_i-\bar{x})^2 = \frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2$
\section{情報科学}
情報の変化は比率で捉えている。$\Delta W$
\subsection{自己情報量}
- 対数の底が2のとき、単位はビット(bit)
- 対数の底がeのとき、単位はナット(nat)
$I(x) = -\log(P(x)) = \log(W(x))$
\subsection{シャノンエントロピー}
自己情報量の期待値。
$H(x) = E(I(x)) = -E(\log(P(x))) = -\sum{P(x)\log(P(x))}$
\subsection{カルバック・ライブラー・ダイバージェンス}
同じ事象・確率変数における異なる確率分布P,Qの違いを表す。$D_{KL}(P||Q)$は、
Pから見たときのQはどれくらい情報が違うかという情報利得。
$D_{KL}(P||Q) = E_{x\sim P}\left[\log\left(\frac{P(x)}{Q(x)}\right)\right] = E_{x\sim P}[\log(P(x)) - \log(Q(x))] = E_{x\sim P}[I(Q(x)) - I(P(x))]$
\subsection{交差エントロピー}
カルバック・ライブラー・ダイバージェンスの一部を取り出したもの。
\end{document}