皆さんは@karpathy autoresearchについて話していますが、その実際の機能についてはほとんど知らないでしょう。

トレーニングスクリプト(train(dot)py)があります。これは小さな言語モデルを訓練するもので、基本的にはベイビーGPTです。そして、AIエージェントに何をすべきかを指示するための指示ファイル(program(dot)md)があります。
「スタート」ボタンを押すと、エージェントはトレーニングスクリプトを調整し、5分間訓練してスコアを確認します。良くなったら保持。悪くなったら元に戻す。これを一晩中100回繰り返します。
それだけのことです。
実際に最適化しているのは：モデルのアーキテクチャです。予測やトレード、あなたのポートフォリオではありません。
例えば：
→ 4層か8層か？
→ 最適な学習率は？
→ AdamWかMuonオプティマイザか？
→ この特定のGPUに最適なバッチサイズは？
最適なアーキテクチャはハードウェア次第です。H100はあなたのMacBookとは全く異なるモデルを求めます。autoresearchはあなたのマシンに最適な設定を自動的に見つけ出します。
これでできること：
> コードを書ける小さなLLMを作成し、autoresearchが最適なアーキテクチャを見つけて、あなたのデータセットで訓練
> オフラインで動作する軽量チャットボットを作成
> 自分の文章を学習させて、まるで自分のように話すモデルを訓練
> 「RoPEは小さなモデルにおいてALiBiに勝てるか？」を一晩で100通りのバリエーションでテスト、3週間の博士課程の作業の代わりに
> Raspberry Piやエッジデバイス向けにモデルを最適化
できないこと：
> 株価予測
> トレーディングエッジの発見
> スプレッドシートの分析
> スポーツの結果予測
autoresearchは、言語モデルを構築したい人のためのツールであり、使いたい人のためのものではありません。KarpathyはAIがAIを改善する自律ループを構築しました。本当に素晴らしいですが、それは非常に特定の問題を解決します。
そして、その問題はおそらくあなたのものではありません。だから、それが何かでないふりをやめてください。