メインコンテンツへ移動

AI: Anthropicでは、AIが研究を2倍速く前進させている、喜ぶべきなのか?


2倍速く。Anthropic、つまりClaudeを作っている会社が、去年と比べて今のAIを改善している速さだ。そして、そう言っているのはAnthropicではない。11週間にわたって社内データを隅々まで調べ、11月5日木曜日に報告書を発表した独立した監査機関、METRだ。いちばんぶっ飛んでいるのは、その理由だ。彼らの報告書によると、この加速の約5分の4はAIそのものから来ている。つまり、Claudeが次のClaudeを作るのを手伝っていて、速度が2倍になっているということだ!一日中Claude Codeを3セッション開いている僕は、これを読んで満面の笑みになった。そのあと、Anthropicが報告書の中で黒塗りにした内容を説明するページに行き着いて、その笑みは少し固まった。

明るい作業場で、ロボットアームが、作業台に置かれた、より新しく光沢のある2本目のロボットアームを正確に組み立てている

Anthropicでは、AIがすでに次のAIを作る手助けをしている

METRって誰で、何を測ったのか?

METR(メーター、巻き尺のメートルと同じ発音だ)は、アメリカの非営利団体だ。仕事は、最先端のAIをテストして、その開発者がいつかAIの制御を失う危険があるのかを調べることだ。この仕事について、彼らはAnthropicから報酬を受け取っていない。ノートパソコンとClaudeを使うためのクレジットを受け取っただけだ。8月12日から10月29日まで、フルタイム換算で2人半、そう、半分だが、小さなチームが社内モデルの結果を詳しく調べ、研究者に質問し、彼らのアンケートを読んだ。

進歩を測るために、彼らは総合平均のようなものを使った。Anthropicはモデルに、コード、数学、推論などの十数個の試験を受けさせ、すべての点数を、生徒の通知表のように1つの数字へまとめている。METRは、この平均がどのくらいの速さで上がっているかを見た。2024年3月から2025年10月までは、一定のペースで上昇していた。METRの計算によると、2025年10月以降は、およそ1.9倍速く上昇している。報告書はこれをこう表現している。「過去1年間に、歴史的な進歩のおよそ2年分」

白いキッチンのドア枠に、何年もかけた子どもの身長を鉛筆で示す線が引かれていて、最後の2本の間隔はそれまでのどの線の間隔よりも明らかに広い

ドアの身長線のように、1年前から2本の線の間隔が2倍になった

彼らは慎重なままだ。実際の数字は1.3かもしれないし、3かもしれないと彼らは書いていて、それでも驚かないという。だが、彼らの最良の推定は2だ。そういえばAnthropic自身も、Haiku 5.5の技術資料で1.7と発表していた。METRの数字がもっと大きいのは、主に、まだ公開されていない社内モデルにアクセスできたからだ。そして、ある点については「確信している」と彼らは言っている。普段より速く計算能力が上がったからではないということだ。どこからともなく新しいサーバーファームが現れたわけでもない。変わったのは、仕事の進め方だ。

「コードに阻まれるのではなく、アイデアだけに」

Anthropicの研究者たちが語っているのは、仕事の面倒な部分がほとんど消えたということだ。以前は、アイデアを試すにはコードを書き、直し、実験を実行し、待ち、また繰り返していた。今は、その全部をClaudeがやっている。ある研究者はこうまとめている。「もう、アイデアと計算能力にしか阻まれていない。コードには阻まれていない」別の研究者はこう言う。「実験のコストがものすごい勢いでゼロになる」その結果、彼らははるかに多くのアイデアを試し、当然、良いアイデアもより多く見つける。

これは、僕が数週間前に書いたこととも一致する。Anthropicが10月13日に出した記事によると、同社のエージェントは今や1日に3万件のコード変更を取り込んでいて、コードの履歴を保存するツールであるGitが、ついに悲鳴を上げるほどだ。

ただし、ひとつ補足がある。今のところは、人間をAIが助けているのであって、AIがひとりで仕事をしているわけではない。METRが聞いたのは、自律型AI側に「生命の兆候」があるという話だけで、貢献が実際に届くのは「近いうち」かもしれないということだ。

「生産性が12倍向上」、絵文字で投票

そこで、思わず吹き出した。木曜からあちこちで飛び交っている数字は、Anthropicの社員たちが社内の最高性能モデルを使うと生産性が12倍になると言っている、というものだ。どこから出てきた数字かって?METRの報告書に書いてある。会社の社内メッセージングサービス、Slackで行ったアンケートで、みんなが小さな絵文字をクリックして投票した結果だ!METR自身が言っている。これは「かなり軽い」証拠で、回答した人たちが代表的とは限らないし、僕たちはみんな自分の成果をつい盛ってしまう。僕にも覚えがある。Claude Codeが一発で動く関数を出してくると、僕も自分が10倍すごくなった気分になる。そのあと、それを1時間かけて読み直す。

会議室のホワイトボードに、何倍速くなったかを尋ねる質問がマーカーで書かれていて、その答えx12の横には、笑顔の小さな丸い磁石が大勢、乱雑に貼り付けられている

あの有名な12倍という数字は、測定ではなく、クリックひとつで答える社内アンケートから出てきた

で、君には何が変わるの?

ガレージでAIを作るAIを持っているわけじゃない、わかってる。でも、もう考えずに使っているし、そこに変化が表れる。

まずは、君がすでに使っているツールだ。スマホの翻訳、学校から来た長いメールを要約してくれるアシスタント、大家さんへの文章を書くのを手伝ってくれる校正機能。どれもこういうモデルを土台にしている。もしその製作が2倍速く進むなら、2年後に実現すると言われていた改善が1年後にやって来る。ようやく君の義母の訛りを理解する翻訳機は、来年あたりに登場するかもしれない。

外国の市場で撮った2枚の写真が並んでいる。左では、道に迷った観光客が、肩をすくめる女性販売員の前で分厚い紙の辞書をめくっている。右では、同じ観光客が販売員にスマホを向け、二人とも笑っている

2年後を待つはずだったものが、1年後にやって来るかもしれない

次に、何が加速しているのかをよく見てほしい。METRが測っているのは「よく定義された」作業、つまり機械が検証できる正解が存在する作業の進歩だ。動くプログラムか動かないプログラムか、計算が合っているか間違っているか、といったものだ。子どもの算数の宿題や君の家計簿なら、どんどん速く進む。けれど、「どんな仕事を選ぶべきか」や「この契約にサインしていいか」といった、答えのはっきりしない質問まで同じ速さで進歩するとは限らない。常識は温めておこう。

最後に、君の仕事だ。明確なアイデアを、検証できる結果に変えるのが仕事なら、まさにそこが加速する。慌てる理由ではない。まだ君を助けてくれる道具であるうちに、今から取り組む理由だ。

それに、この循環は一度見たことがある。1800年頃、イギリスの技術者ヘンリー・モーズリーは、かつてない精度のねじを作れる旋盤を造った。そのねじで、もっと精密な機械を作り、その機械でさらに優れたねじを作る。そうやって続いていく。これは産業革命を動かした原動力のひとつで、車のエンジンの部品がぴったり噛み合うのもそのおかげだ。次の機械を作るのを助ける機械、それはSF映画ではなく、速度を取り戻した古い話だ。

期限はいつかって?10年後の話ではない。もう1年前から始まっている。METRは、今後12か月について明らかなブレーキをひとつも見つけていない。ただし、その見解が途中で何度も変わったことも認めている。その先は、彼らを含めて誰にもわからない。

引っかかるところ:資料の半分が黒塗り

ここからが、僕が引っかかった部分だ。METR自身がXで発表した。Anthropicに100ページほどの完全な報告書を渡したという。公開版では、Anthropicが文字どおり「私たちが見つけた中で最も説得力のある要素の大半」を黒塗りにした。詳細な推計、計算量とデータと新しい手法の内訳、次のモデルについての予測。すべてが黒いマーカーの下に消えた。Anthropicが示した理由は、こうした情報が競合相手の助けになるかもしれないからだ。METRは遠回しにせず書いている。一般の人々は、その判断を「理想的な状態ならそうするはずの度合いを大幅に超えて」信頼するしかない。

机の上で分厚い印刷された報告書が開かれていて、すべての行が太い黒線で覆われ、その横にコーヒーカップが置かれている

公開版では、最も説得力のある証拠の大半が黒塗りにされている

それだけではない。途中でAnthropicは、計算能力がどのように配分されていたかをMETRが検証するはずだった部分を契約から削除した。おまけに味わい深い細部として、こうしたデータをすべて分析するために、METRは大いに... Claudeを利用した。つまりAIは、AIがどれほど速く改善しているかを測る手助けをした。とはいえMETRは、Anthropicが自分たちをだまそうとした可能性は「極めて低い」と判断している。

どうしてみんなそんなに心配しているのか?理由は、本当に怖いのが暴走だからだ。より優れたAIが研究を加速させ、その研究がさらに優れたAIを生み、そのAIがさらに加速させる。METRはこう書いている、この加速は「積み重なり始める可能性があり」、極端で危険な能力を一気に出現させるかもしれない。雪玉のようなものだ、ただし中身がどうなっているのかはまだ誰にもわからない。

僕の意見は?毎日使っているツールがこれほど速く進歩しているのはうれしいし、そうでないふりをするつもりはない。でも、部品の半分を隠した検証は、半分しかない検証だ。

情報源

この記事はClaude Codeの助けを借りて書き、僕が読み直して修正した。

会話に参加する

この記事にコメントするにはアカウントが必要です。無料で作成でき、1分もかかりません。

  • 毎日無料でダウンロードできるXMLTVファイル
  • 記事にコメントし、他の読者に返信する
  • フォローしている新しい記事をメールで通知する

現在コメントはありません。

Une erreur s'est produite. Cette application peut ne plus répondre jusqu'à ce qu'elle soit rechargée.Veuillez contacter l'auteur. Reload 🗙