イェンセンの不等式とは？凸関数の直感理解から機械学習応用まで解説

データサイエンスや人工知能（AI）の急速な進化に伴い、確率統計や最適化理論の根幹を支える数学的ツールへの関心が一段と高まっています。その中でも、理論と応用の両面で絶大な存在感を放っているのが「イェンセンの不等式（Jensen's inequality）」です。デンマークの数学者ヨハン・イェンセンが20世紀初頭に定式化したこの不等式は、一見するとシンプルな不等号の関係でありながら、背後には深い幾何学的直感と強力な汎用性を秘めています。

大学の数学科や情報科学科で学ぶ高度な定理という印象を持たれがちですが、その本質は高校数学で学ぶ関数のグラフや平均の概念に直結しています。なぜ「平均の関数値」と「関数値の平均」の間に決まった大小関係が生まれるのか、そのメカニズムと実世界における破壊的な有用性を紐解きます。

📌 【この記事の重要ポイントまとめ】

• 要点1：イェンセンの不等式は、凸関数（または凹関数）において「値の平均を関数に入れたもの」と「関数を通した値の平均」の大小関係を普遍的に示す定理です。
• 要点2：幾何学的な接線・割線の性質から直感的に理解でき、高校レベルの数学的帰納法から確率論の期待値・条件付き期待値まで一貫した論理で証明されます。
• 要点3：相加相乗平均の証明から情報理論（KLダイバージェンス）、生成AI・機械学習の根幹アルゴリズム（VAEやEMアルゴリズムのELBO導出）に至るまで不可欠な基礎理論です。

【直感的な理解】イェンセンの不等式とは何か？凸関数と凹関数の違いから紐解く

イェンセンの不等式を理解する第一歩は、数式を追うことではなく、グラフの「曲がり方」に目を向けることです。この不等式が成立する絶対条件は、対象となる関数が凸関数（下に凸）または凹関数（上に凸）であることにあります。

日常的な直感として、例えばお椀のような形をした「下に凸な関数」 $f(x) = x^2$ を思い浮かべてください。2つの点 $x_1 = 0$ と $x_2 = 4$ を選び、その平均値である $2$ を関数に入れると $f(2) = 4$ になります。一方で、先に関数を通した値 $f(0) = 0$ と $f(4) = 16$ の平均をとると $(0 + 16) / 2 = 8$ となります。結果を比べると、$4 \le 8$ となり、「平均してから計算した値」のほうが「計算してから平均した値」以下になることが分かります。

この性質を一般化したものがイェンセンの不等式です。凸関数と凹関数の違いを整理すると、以下の関係が常に成り立ちます。

・下に凸な関数（凸関数）： $f(\text{平均}) \le \text{関数の平均}$
・上に凸な関数（凹関数）： $f(\text{平均}) \ge \text{関数の平均}$

幾何学的に見れば、グラフ上の2点を結ぶ線分（割線）は、下に凸な関数では常にグラフの上側に位置します。内分点はこの線分上にあるため、グラフ上の点よりも必ず高い位置（あるいは同じ高さ）に来るという明快な幾何構造が、この不等式の核心です。

【幾何学と証明】高校数学から大学数学へ｜数学的帰納法で導く厳密な論理

高校数学の範囲では、2変数の内分点を用いた関係式として登場することが多くあります。実数 $x_1, x_2$ と、重みとなるパラメータ $t \in [0, 1]$ に対し、凸関数 $f(x)$ は定義そのものとして以下の式を満たします。

$$f(t x_1 + (1 - t) x_2) \le t f(x_1) + (1 - t) f(x_2)$$

これを $n$ 個の点 $x_1, x_2, \dots, x_n$ と、合計が1となる重み $\lambda_1, \lambda_2, \dots, \lambda_n \ge 0$ （$\sum \lambda_i = 1$）へと一般化する場合、数学的帰納法を用いることで極めて明快に証明できます。

$n=2$ の成立を前提とし、$n=k$ で成立すると仮定します。$n=k+1$ の場合、先頭の $k$ 個の項を重みの和で正規化して1つの合成点と見なすことで、$2$ 項のイェンセンの不等式へと帰着させます。そこへ帰納法の仮定を適用すれば、途切れのない論理展開で $n$ 変数の一般形が証明されます。

この不等式の美しさを実感できる代表例が、高校数学でおなじみの相加相乗平均の不等式の導出です。関数として $f(x) = -\log x$ （$x > 0$ において下に凸）を選ぶと、イェンセンの不等式から直ちに以下の式が得られます。

$$-\log\left(\frac{x_1 + x_2 + \dots + x_n}{n}\right) \le \frac{-\log x_1 - \log x_2 - \dots - \log x_n}{n}$$

両辺に $-1$ をかけて対数の性質を整理すれば、左辺が相加平均、右辺が相乗平均の対数となり、瞬時に相加相乗平均の不等式（$\frac{x_1+\dots+x_n}{n} \ge \sqrt[n]{x_1 \dots x_n}$）が導き出されます。個別の技巧的な因数分解を必要とせず、関数の凸性という一段高い視点から自明のものとして包括できる点が、イェンセンの不等式の圧倒的な威力です。

【確率論と期待値】なぜ成り立つのか？確率変数と条件付き期待値への拡張

有限個の離散的な重み付け平均にとどまらず、連続的な広がりを持つ確率論の世界において、イェンセンの不等式はその真価をいかんなく発揮します。確率変数 $X$ と凸関数 $f$ に対し、期待値記号 $E[\cdot]$ を用いた定式化は極めて有名です。

$$f(E[X]) \le E[f(X)]$$

この関係性がなぜ成立するのかという疑問に対しては、凸関数の「接線」を用いたアプローチが最も直感的で美しい解答を与えてくれます。凸関数のグラフは、どの点においても接線よりも常に上側（または接線上）に存在するという性質を持ちます。平均値 $\mu = E[X]$ における接線の方程式を $L(x) = f'(\mu)(x - \mu) + f(\mu)$ と置くと、すべての $x$ に対して $f(x) \ge L(x)$ が成り立ちます。

この不等式の両辺について期待値をとると、$E[L(X)] = f'(\mu)(E[X] - \mu) + f(\mu) = f(\mu) = f(E[X])$ となり、期待値の線形性によって一次のずれが綺麗に相殺され、$E[f(X)] \ge f(E[X])$ が鮮やかに導出されます。

さらに現代の確率解析では、部分的な情報が与えられた状況を扱う条件付き期待値への拡張も標準的に用いられます。部分 $\sigma$ 代数 $\mathcal{G}$ に対する条件付き期待値においても、同様に以下の不等式が成立します。

$$f(E[X|\mathcal{G}]) \le E[f(X)|\mathcal{G}]$$

この性質は、ファイナンス理論や確率過程論において、マルチンゲール（将来の予測値が現在の値と等しくなる性質）の理論体系を構築する上で欠かせないバックボーンとなっています。

【情報理論と機械学習】AIモデルの根幹を支える「ELBO」と「KLダイバージェンス」

現代のAI技術や機械学習モデルの内部では、至るところでイェンセンの不等式が計算の難所を突破するための「武器」として使われています。その筆頭が、情報理論におけるKLダイバージェンス（カルバック・ライブラー情報量）の非負性の証明です。

2つの確率分布 $P(x)$ と $Q(x)$ の差異を測るKLダイバージェンス $D_{\mathrm{KL}}(P \parallel Q) = \sum P(x) \log \frac{P(x)}{Q(x)}$ は、真の分布と予測分布がどれだけ離れているかを示します。凹関数である $f(t) = \log t$ にイェンセンの不等式を適用することで、$-D_{\mathrm{KL}}(P \parallel Q) = \sum P(x) \log \frac{Q(x)}{P(x)} \le \log \left( \sum P(x) \frac{Q(x)}{P(x)} \right) = \log 1 = 0$ となり、$D_{\mathrm{KL}}(P \parallel Q) \ge 0$ であることが保証されます。この非負性があるからこそ、AIの学習において損失関数としての妥当性が担保されます。

さらに実践的な応用として、変分オートエンコーダ（VAE）やEMアルゴリズム（期待値最大化法）における証拠下界（ELBO: Evidence Lower Bound）の導出が挙げられます。複雑な潜在変数モデルにおいて、データの真の対数尤度 $\log p(x)$ を直接計算することは計算量が爆発するため不可能です。そこで、対数関数 $\log$ が凹関数であることを利用してイェンセンの不等式を適用します。

$$\log p(x) = \log \int p(x, z) dz = \log \int q(z) \frac{p(x, z)}{q(z)} dz \ge E_{q(z)}\left[ \log \frac{p(x, z)}{q(z)} \right]$$

右辺がまさに「ELBO（証拠下界）」です。直接最大化できない対数尤度の代わりに、計算可能な下界であるELBOをイェンセンの不等式によって作り出し、それを最大化することで高精度な画像生成や潜在表現の学習を実現しています。最先端の大規模生成モデルの足元を支えているのは、紛れもなくこの1本の不等式です。

【実践の落とし穴】イェンセンの不等式を扱う上での注意点と等号成立条件

理論的にも応用上も強力なイェンセンの不等式ですが、数理モデルの解析やアルゴリズム設計において誤用しやすいポイントが存在します。

最も注意すべきは、等号成立条件の確認です。イェンセンの不等式において $f(E[X]) = E[f(X)]$ という等号が成り立つのは、原則として以下のいずれかの場合に限られます。

1. 確率変数 $X$ が定数（分散がゼロ）である場合：ばらつきが存在しない場合、平均と個々の値が一致するため等号が成り立ちます。
2. 関数 $f(x)$ が線形関数（アフィン変換 $f(x) = ax + b$）である場合：曲がりが存在せず接線と関数が完全に一致するため、任意の分布で等号が成立します。

厳密に狭義の凸関数（二階微分が常に正など）である場合、分布にわずかでも分散があれば必ず厳密な不等号（$<$）になります。機械学習において「下界を最大化しても真の対数尤度に完全に届かないギャップ（近似誤差）」が生じる理由は、まさにこの等号成立条件に起因しています。

また、上に凸な関数（$\log x$ や $\sqrt{x}$ など）と下に凸な関数（$x^2$ や $e^x$ など）で不等号の向きが逆転する点も初学者が陥りやすいミスです。適用前に関数の二階微分の符号を確認する習慣が不可欠です。

【イェンセンの不等式】に関するよくある質問（FAQ）

Q1：高校数学の大学入試問題で、イェンセンの不等式を証明なしで使っても減点されませんか？
A1：一般論として、学習指導要領の範囲外である「イェンセンの不等式より」とだけ記述して結論を出すのは避けるのが安全です。記述試験で活用する場合は、2変数の凸性の定義式から始めるか、数学的帰納法を用いた簡潔な導出過程を答案上に併記することで、確実な得点に繋がります。

Q2：統計検定やデータサイエンスの学習において、どの程度深く理解しておくべきですか？
A2：統計検定1級レベルや数理統計学の基礎を固める上では必須の知識です。分散の非負性（$E[X^2] \ge (E[X])^2$）の幾何的意味や、最尤推定量の漸近有効性、クラメール・ラオの下限などの導出過程で当たり前のように登場するため、期待値形式の式変形はスムーズに行える状態が理想的です。

Q3：なぜ「イェンセン」と「ジェンセン」の2通りの表記があるのですか？
A3：デンマークの数学者 Johan Jensen の名前に由来するためです。デンマーク語の発音に近い「イェンセン」が日本の数学界や学術論文では主流ですが、英語圏の発音に基づいた「ジェンセンの不等式」という呼称も工学系や機械学習の現場で広く併用されています。どちらも同一の定理を指しています。

まとめ：数理最適化と次世代AI開発を繋ぐ不朽の架け橋

イェンセンの不等式は、高校数学で触れる関数の凸性というシンプルな幾何学的発想から出発し、現代の最先端AI技術や情報理論の根幹までを一本の美しい論理で貫いています。

「平均の関数値」と「関数値の平均」を比較するという極めて直感的な問いは、数理モデルを構築するエンジニアや研究者にとって、複雑な現象を扱いやすい形へと落とし込む最強の武器であり続けています。数式を単なる記号の羅列として暗記するのではなく、その幾何学的な意味と確率論への展開を俯瞰して捉えることこそが、次世代のデータサイエンスを深く理解するための確かな礎となります。 （出典: イェンセン の 不等式（Yahoo!ニュース））