市川くんのmin-max問題の統計力学に関する論文は以下のように公開されました。
Yuma Ichikawa and Koji Hukushima,
“Statistical Mechanics of Min-Max Problems,”
Transactions on Machine Learning Research, 2025

久々ですが、この研究の周辺について解説します。

ある種のゲーム理論や、この論文でも議論しているGenerative Adversarily Network (GAN)の定式化では次のようなmin-max戦略で表されます。

\( \Psi(A)=\min_x \max_y V(x,y;A) \)

xやyは戦略を表していて、その戦略を取ったときの利得関数をA(x,y)としています。この書き方でのmin-maxは、あるxについて、戦略yを最大化し、その最大値が最小になる戦略xを求めることを意味します。この最大化と最小化の順番が重要で、この２つの操作を評価するのが一般に難しい問題です。一つなら通常の最適化問題ですが、順序がついている２つの最適化問題を扱う必要がある点に難しさがあります。

この問題について、ランダムな利得関数AについてのΨの典型評価は統計力学側からアプローチできる感じもしますが、この２つの操作の取り扱いは全くよくわからないです。この最初のアイデアは、市川くんが確か修士のころに修論のテーマを何にしようかとあれこれやってころに原点があるんじゃないかと記憶しています。そのころ、partial annealing系という特殊な非平衡統計力学系について、その周辺を研究していたことと関係します。これは、ランダム系の統計力学の観点からみると、通常のクエンチ系ではレプリカ数が0となるレプリカ極限をとりますが、その途中の有限のレプリカ数の状態の意味を考えることに相当します。物理的に言うと、xとyの時間スケールが分離して、速い変数yと遅い変数xの統計力学を考えることに対応します。yから見るとｘは止まっていて、xから見るとyは速く動き回っていて平衡状態になっていると考えます。原子の運動では、電子と原子核の時間スケールを分離するボルンーオッペンハイマー近似というのがありますが、それの統計力学版ともみなせます。

当時は、進化の統計力学的研究に関心があったが、それがこの問題に使える…と見えたのが市川くんでした。もともとpartial annealing系に興味があるとか言ってような気もするけど、min-maxに使えると言ったのをちゃんと聞いたのは博士入学直前のイベントだったと思います。上の定式化で言えば、xから見ればyは速い変数で、最大化をとるときには先に絶対零度極限に取ってしまって、その後でxの最小化を別の（符号を変えて）絶対零度極限を取っちゃえば言いというアイデアは、言われたら当たり前に聞こえるけど、partial annealingやってる観点からはパッとは思いつかないです。

というわけで、2種類レプリカを入れてレプリカ法で典型評価ができてしまいます。この論文では線形の問題で、レプリカ法を使わなくても解析できる簡単な例で、レプリカ法でも同じ結果がでることを示しています。その問題では、実はminとmaxを入れ替えても問題がないくらい簡単な設定ですが、レプリカ法が正しい答えを示すことを確認する意味では大事な例題です。そして、min-maxの順序が重要なlinear GANでの解析を陽に計算しています。結果として、GANで用いるfakeデータと本物データの最適比が1/2であることを導出しています。

この解析方法は、min-max問題の統計力学的研究の方法論を提示した意義はめちゃくちゃ大きいです。これで遊べる問題がたくさん増えました。やってみるといろいろ問題も出てくるでしょうが、それはそれで面白いと思います、レプリカ対称性の破れとか。そもそもこの方法がないと手が出なかったわけなので、未開の地が広がっていて、統計力学的な典型評価から明らかになることが何なのかはこれからの展開に大いに期待できます。いまいち、この最後の面白さがうまく説明できていない気がする。そこは後で追記するかもしれない。