TL;DR

3日間の追試では、AstraはBreakoutなど小型ゲームネットワークの重みを直接書き、改変ゲームでも機能した。書かれたネットワークはPythonに逆コンパイルでき、重み読み取りは主に入力層の配置把握に留まる。監査は浅く、オープンウェイトは未達で、対象は小規模ネットワークに限られる。

既存手法との違い

原論文はMITの報告を再現・拡張し、比較対象として同アーキテクチャのPPO学習ネットワーク、過去モデルが生成したPythonプログラムと重み、シャッフル重み対照、オープンウェイトモデルを用いた。PPO比較は原MIT報告のスコアで、著者らは弱い可能性と直接比較不可を注記している。プログラム比較では、戦略をPythonで書く能力が重み生成より先に現れ、Astraでは重みがプログラムのスコアの半分〜2/3を保つと報告。シャッフル対照で読み取り性能が低下し、重みを読む証拠とした。

使える条件

対象はMinAtarの小型ゲーム、拡散モデルの形状生成、小規模言語モデルの監査など、数十K重み規模の小ネットワーク。重み書き込みはゲーム仕様・ソースコードを与え、frontier LLM(Astra、Opus 5.5)が単一応答で重みを出力する条件。Opus 5.5は出力トークン不足で失敗することがある。重み読み取りは重みとアーキテクチャを入力。オープンウェイトは限定的。学習方法や大規模ネットワークへの適用条件は本文から確認できない。

限界と未検証の範囲

3日間の予備的検討で、ゲーム・小規模ネットワーク・限定プロンプトに依存。重み読み取りは新規ゲームで盤面配置は拾えるがゲーム機構はほぼ外す。監査は汚染モデルや悪性アダプタの検出はあってもトリガーや悪性挙動を説明できない。逆コンパイル一致はテストした49,189状態に限る。通常学習ネットワークへの一般化は未確立。出力トークン制約、オープンウェイトの弱さ、ラボの学習過程は不明でトークナイザー手掛かりも証明ではない。

図1: 提案手法の概要(本記事による図解)

本図は、論文で確認された「ゲーム仕様・コードから戦略を設計し疎な重みへ変換する」流れと、重み読み取りが主に入力層の配置把握に留まる点を簡略化して示し、監査の浅さやオープンウェイトの遅れは省略している。
本図は、論文で確認された「ゲーム仕様・コードから戦略を設計し疎な重みへ変換する」流れと、重み読み取りが主に入力層の配置把握に留まる点を簡略化して示し、監査の浅さやオープンウェイトの遅れは省略している。

解説

AMI NEUTRAL

ねえ智也くん、このブログ読んだ? 最先端LLMが小さいネットワークの重みを直接書けるってやつ。

TOMOYA EXPLAINING

うん。MITの報告を3日間で追試して、拡張もした予備的な作業ノートだね。

AMI SURPRISED

3日で追試? そんな短期間で再現できちゃうんだ。

TOMOYA THINKING

まず動機は、オンラインで話題になってた主張を、再現できる部分と誇張すべき部分に分けること。実験はMinAtarの小型ゲームが中心。

AMI HAPPY

Breakoutのスコアが514、550、307で、元の517とだいたい同じだったんでしょ?

TOMOYA NEUTRAL

そう。しかも左右反転や上下反転の改造Breakoutでも平均515くらい出て、学習データの丸暗記じゃないことを確かめてる。

AMI THINKING

じゃあ、重みを書けることは本物なんだ。

TOMOYA EXPLAINING

ただし新しいのは「プログラムを重みに翻訳する」能力。以前のモデルはPythonで戦略を書けても、重みにはできなかった。

AMI UNDERSTOOD

なるほど。プログラムの方が先に上手くなって、重みは後から追いついた感じか。

TOMOYA NEUTRAL

比較として、同じ戦略をPythonで書かせたスコアと、重みネットワークのスコアも見てる。Astraはプログラムの半分から2/3くらいを重みで保つ。

AMI SURPRISED

へえ。で、その重みは中身が読めるの?

TOMOYA EXPLAINING

読める。AstraのBreakoutネットワークを2つのモデルが独立にPythonへ逆コンパイルして、テストした49,189状態すべてで同じ行動になった。

AMI HAPPY

それはすごい。ブラックボックスじゃなくて、コンパイルされたプログラムみたいな感じなんだ。

TOMOYA THINKING

そう。ただし手書き数字の分類みたいに、コンパイルする元プログラムがないタスクではAstraのネットワークは平均50%で、単純なテンプレート分類器の82%より下だった。

AMI THINKING

あ、得意不得意があるんだ。

TOMOYA NEUTRAL

重み読み取りも再現してる。AstraとOpus 5.5はゲーム名を12/12で当てて、重みをシャッフルするとチャンスレベルに落ちる。

AMI SURPRISED

じゃあ本当に重みを見てるんだ。

TOMOYA EXPLAINING

でも新しく作った3ゲームでは、盤面の配置は拾えるけど、ゲームの仕組みはほとんど外してる。入力層のレイアウト読みが中心。

AMI SAD

そこはまだ浅いんだね。

TOMOYA NEUTRAL

監査も同じ。毒入り小言語モデルは10/10で見つけたけど、追加学習で毒されたのは7/10、悪性アダプタは23/32。でもトリガーや悪性挙動までは説明できなかった。

AMI THINKING

見つけるだけでも大変だけど、理由まで分かるわけじゃないのか。

TOMOYA EXPLAINING

意義は、重み書き込みが再現して、しかも「プログラムを重みにコンパイルする」現象として捉えられること。既知の仕組みを持つネットワークは解釈可能性の制御されたテストになる。

AMI UNDERSTOOD

ふむふむ。でも制限も多い?

TOMOYA SAD

3日間の予備検討で、小型ゲームや小規模ネットワーク、限定プロンプトに依存。通常学習したネットワークへの一般化は未確立。オープンウェイトモデルは書きも読みもまだ弱い。

AMI NEUTRAL

出力トークン不足でOpus 5.5が失敗することもあるって書いてあったね。

TOMOYA NEUTRAL

うん。あとPPO比較は元報告のスコアで、著者ら自身が弱い可能性と直接比較不可を注記してる。ラボの学習過程も不明で、トークナイザーの手掛かりも証明ではない。

AMI SMILE

なるほどね。つまり「LLMは小さいネットワークを書けて読めるけど、今は入力層の配置読みとプログラム翻訳が中心」ってことか。

TOMOYA HAPPY

まとめるとそう。有望だけど初期の道具だね。

AMI HAPPY

じゃあ私もLLMに小さなネットワーク書いてもらって、今日のおやつ当てゲームでも作ろうかな。

TOMOYA SURPRISED

それは重みじゃなくて、ただの当てずっぽうだろ。

AMI EMBARRASSED

あ、そっか。つい楽しい方に飛びついちゃった。