TL;DR
3日間の追試では、AstraはBreakoutなど小型ゲームネットワークの重みを直接書き、改変ゲームでも機能した。書かれたネットワークはPythonに逆コンパイルでき、重み読み取りは主に入力層の配置把握に留まる。監査は浅く、オープンウェイトは未達で、対象は小規模ネットワークに限られる。
既存手法との違い
原論文はMITの報告を再現・拡張し、比較対象として同アーキテクチャのPPO学習ネットワーク、過去モデルが生成したPythonプログラムと重み、シャッフル重み対照、オープンウェイトモデルを用いた。PPO比較は原MIT報告のスコアで、著者らは弱い可能性と直接比較不可を注記している。プログラム比較では、戦略をPythonで書く能力が重み生成より先に現れ、Astraでは重みがプログラムのスコアの半分〜2/3を保つと報告。シャッフル対照で読み取り性能が低下し、重みを読む証拠とした。
使える条件
対象はMinAtarの小型ゲーム、拡散モデルの形状生成、小規模言語モデルの監査など、数十K重み規模の小ネットワーク。重み書き込みはゲーム仕様・ソースコードを与え、frontier LLM(Astra、Opus 5.5)が単一応答で重みを出力する条件。Opus 5.5は出力トークン不足で失敗することがある。重み読み取りは重みとアーキテクチャを入力。オープンウェイトは限定的。学習方法や大規模ネットワークへの適用条件は本文から確認できない。
限界と未検証の範囲
3日間の予備的検討で、ゲーム・小規模ネットワーク・限定プロンプトに依存。重み読み取りは新規ゲームで盤面配置は拾えるがゲーム機構はほぼ外す。監査は汚染モデルや悪性アダプタの検出はあってもトリガーや悪性挙動を説明できない。逆コンパイル一致はテストした49,189状態に限る。通常学習ネットワークへの一般化は未確立。出力トークン制約、オープンウェイトの弱さ、ラボの学習過程は不明でトークナイザー手掛かりも証明ではない。
図1: 提案手法の概要(本記事による図解)
解説

ねえ智也くん、このブログ読んだ? 最先端LLMが小さいネットワークの重みを直接書けるってやつ。

うん。MITの報告を3日間で追試して、拡張もした予備的な作業ノートだね。

3日で追試? そんな短期間で再現できちゃうんだ。

まず動機は、オンラインで話題になってた主張を、再現できる部分と誇張すべき部分に分けること。実験はMinAtarの小型ゲームが中心。

Breakoutのスコアが514、550、307で、元の517とだいたい同じだったんでしょ?

そう。しかも左右反転や上下反転の改造Breakoutでも平均515くらい出て、学習データの丸暗記じゃないことを確かめてる。

じゃあ、重みを書けることは本物なんだ。

ただし新しいのは「プログラムを重みに翻訳する」能力。以前のモデルはPythonで戦略を書けても、重みにはできなかった。

なるほど。プログラムの方が先に上手くなって、重みは後から追いついた感じか。

比較として、同じ戦略をPythonで書かせたスコアと、重みネットワークのスコアも見てる。Astraはプログラムの半分から2/3くらいを重みで保つ。

へえ。で、その重みは中身が読めるの?

読める。AstraのBreakoutネットワークを2つのモデルが独立にPythonへ逆コンパイルして、テストした49,189状態すべてで同じ行動になった。

それはすごい。ブラックボックスじゃなくて、コンパイルされたプログラムみたいな感じなんだ。

そう。ただし手書き数字の分類みたいに、コンパイルする元プログラムがないタスクではAstraのネットワークは平均50%で、単純なテンプレート分類器の82%より下だった。

あ、得意不得意があるんだ。

重み読み取りも再現してる。AstraとOpus 5.5はゲーム名を12/12で当てて、重みをシャッフルするとチャンスレベルに落ちる。

じゃあ本当に重みを見てるんだ。

でも新しく作った3ゲームでは、盤面の配置は拾えるけど、ゲームの仕組みはほとんど外してる。入力層のレイアウト読みが中心。

そこはまだ浅いんだね。

監査も同じ。毒入り小言語モデルは10/10で見つけたけど、追加学習で毒されたのは7/10、悪性アダプタは23/32。でもトリガーや悪性挙動までは説明できなかった。

見つけるだけでも大変だけど、理由まで分かるわけじゃないのか。

意義は、重み書き込みが再現して、しかも「プログラムを重みにコンパイルする」現象として捉えられること。既知の仕組みを持つネットワークは解釈可能性の制御されたテストになる。

ふむふむ。でも制限も多い?

3日間の予備検討で、小型ゲームや小規模ネットワーク、限定プロンプトに依存。通常学習したネットワークへの一般化は未確立。オープンウェイトモデルは書きも読みもまだ弱い。

出力トークン不足でOpus 5.5が失敗することもあるって書いてあったね。

うん。あとPPO比較は元報告のスコアで、著者ら自身が弱い可能性と直接比較不可を注記してる。ラボの学習過程も不明で、トークナイザーの手掛かりも証明ではない。

なるほどね。つまり「LLMは小さいネットワークを書けて読めるけど、今は入力層の配置読みとプログラム翻訳が中心」ってことか。

まとめるとそう。有望だけど初期の道具だね。

じゃあ私もLLMに小さなネットワーク書いてもらって、今日のおやつ当てゲームでも作ろうかな。

それは重みじゃなくて、ただの当てずっぽうだろ。
