Cohere CEO は、LLM 同士がトレーニングし合うのは「人間ムカデ効果」のようなものだと述べ、イーロン・マスクも同意

イーロン・マスクの AI スタートアップは、次世代 Grok 3 LLM モデルをトレーニング中です。このモデルは、100,000 基の NVIDIA H100 AI GPU でトレーニングされています。

Xの新しい投稿で、スペースXとテスラの創設者は、自身のxAIスタートアップについて語り、Xの@BasedBeffJezosに返信した。@BasedBeffJezosは、CohereのCEO兼共同創設者であるエイダン・ゴメスのビデオを投稿し、次のように述べた。「互いのデータでモデルを訓練することは、人間ムカデ効果のようなものだ「」。

これに対してマスク氏はこう答えた。「悲しいことに、それは事実です。インターネットのトレーニングデータからLLMを削除するには、多くの作業が必要です。8月にリリースされるGrok 2は、この点で大きな改善となるでしょう。「。ここで@BasedBeffJezosはこう言った」8月のGrok 2はAGIベースになる「マスク氏は再びこう答えた。Grok 3 年末に 100K H100 のトレーニングを終えたら、本当に特別なものになるはずです「」。

そのビデオは以下からご覧いただけます:

今年初め、テスラはNVIDIA AI GPUとAMD AI GPUの購入に数十億ドルを投じると発表していたが、テスラがNVIDIAからさらに多くのAIシリコンを購入するにつれて、これらの数字は年間を通じて劇的に変化するだろう。マスク氏は2024年1月に、Dojoスーパーコンピューターへの最近の5億ドルの投資は「1万個のNVIDIA H100 AI GPUにしか相当しない」と述べ、さらに次のように付け加えた。テスラは今年、NVIDIAのハードウェアにそれ以上の金額を費やす予定だ。現時点でAIで競争力を持つには、少なくとも年間数十億ドルが必要だ。「」。