【特集】NvidiaのEureka AIエージェントがロボットの器用さを教える

Nvidiaの研究者が、EurekaというAIエージェントを通じて、人間と同じように複雑なスキルをロボットに教えることに成功しました。

最近の大規模な言語モデル（OpenAIのGPT-4など）の進展を活用した新しい手法であるEurekaは、生成的AIを活かし、ロボットに試行錯誤の強化学習を行わせるための複雑な報酬アルゴリズムを自律的に作成します。論文によれば、この手法は、人間が作成したプログラムよりも効果が50%以上高いことが示されています。

Nvidiaは、Eurekaの成功により、AIを言語モデルで導く先駆的な取り組みを行っています。

Nvidiaは最近、SteerLMというAIアシスタントを改善する方法に焦点を当てた手法をオープンソース化しました。SteerLMも言語モデルの進歩を活用しており、人間のフィードバックをトレーニングデータとして使用してアシスタントの応答を改善します。この手法により、アシスタントはユーザーのニーズに合わせた応答を提供するように学習します。これにより、AIの実世界での応用が向上します。

Eurekaのキーポイントは、Isaac Gymなどのシミュレーション技術と言語モデルのパターン認識能力を組み合わせることでした。

Eurekaは、「学習する学習」を実現し、複数のトレーニングランで自身の報酬アルゴリズムを最適化します。さらに、人間の入力も受け入れて報酬を改良します。この自己改善の手法は非常に一般化されており、足を持つロボットや車輪を持つロボット、飛行するロボット、器用な手を持つロボットなど、あらゆる種類のロボットを訓練しています。 NvidiaのEurekaとSteerLMは、壁を打ち破るだけでなく、ロボットやAIに洗練された相互作用と芸術を教えています。一つ一つのペンの回転やウィットのある会話で、AIが単に模倣するだけでなく、私たちと共に革新する未来を描いています。