Nvidiaは、開発者がPhysical AIを加速するためのCosmos WFMを発表した。

Nvidiaは、フィジカルAI開発者がビデオ解析AIエージェント、AV（自律走行車）、ロボットのトレーニングに使用するワールドモデルを搭載したCosmosプラットフォームを発表した。同社は、Cosmosワールドモデルが画像や動画に対する構造化推論を使用し、"人間のように物理世界を理解する "と主張している。同社は、開発者が基礎となるモデルを構築するのを支援すると述べている。Cosmosプラットフォームにより、開発者はすぐに使える事前学習済みモデルをカスタマイズし、特殊な物理AIモデルを作成することができると説明した。Nvidiaは、Cosmosが物理世界の "時空間的理解 "を用いて、ロボット工学や自動運転車の意思決定を訓練するデータを作成することを誇りにしている。同社はまた、Cosmos Curatorフレームワークにより、開発者は膨大な量のセンサーデータをフィルタリング、注釈付け、重複排除することができると付け加えた。開発者はこのデータを使って、特定の物理AIのニーズに合わせたデータセットを作成する。Cosmosのワールドファウンデーションモデルは、産業用ビジョンシステムの開発において、下流のパイプライン用のデータを生成することもできる。Cosmosには、Predict、Transfer、Reasonの各基盤モデルが用意されている。Nvidiaチームによると、CosmosプラットフォームにはPredict予測モデルがあり、開発者は最大30秒の連続動画を生成できる。動画は、プロンプトに厳密に従ったマルチモーダル入力から生成される。Transferはマルチコントロールモデルで、開発者はさまざまな環境や照明条件をシミュレートできる。同社はまた、TransferはCARLAとNvidia Isaac Simの物理AIシミュレーションフレームワークからの3D入力を高速化し、"制御可能なデータ増強 "を可能にすると述べている。Nvidiaは、Cosmos Reasonは人間のように現実の物理世界を理解する、完全にカスタマイズ可能なVLM（Vision Language Model）を使用していると述べた。Reasonは、産業空間や都市空間でのオペレーションを理解するビデオ分析エージェントを強化する。意思決定に使用される学習データを管理する。Nvidiaは、開発者がこの基礎モデルを活用することで、工場ロボット、自動倉庫、高速道路や不整地でのAVなど、産業やロボット工学のアプリケーションでAIモデルをトレーニングするためのデータを生成できることを明らかにした。Nvidiaはまた、これらの基礎モデルはラベル付けされていないデータセットを使用して訓練され、ユーザー入力に基づいて新しいデータを生成すると述べた。さらに、開発者はこの汎用性を利用して、より小さなデータセットを使って事前に訓練されたモデルを微調整し、カスタムモデルを構築することができると付け加えた。開発者はまた、さまざまな自律型マシンを訓練して、周囲の環境を感知し、相互作用させることもできる。Nvidiaは「デジタル・ツイン」を強力にサポート Nvidiaは11日、Omniverseライブラリのリリースを発表した。Nvidiaは、このライブラリはRTX PROサーバーとDGX Cloudによって駆動され、開発者は物理的に正確なデジタルツインを構築できると付け加えた。AIエージェントを構築し、物理的なAIモデルを訓練するために、シミュレーションで現実世界をキャプチャして再構築することにより、合成データを生成することができる。NvidiaのOmniverse and Simulation Technologies担当副社長であるRev Lebaredian氏は、同社は開発者が明日のロボットやAVを構築できるよう尽力していると述べた。同氏は、AIとコンピューターグラフィックスがロボット工学の基本原理を変革するために融合しつつあると説明した。レバレディアン氏は、これらの技術が "何兆ドルもの産業を変革する "と考えている。Nvidiaは、OmniverseライブラリとSDK（Software Development Kits）が開発者向けに提供され、ロボティクス・シミュレーションと産業用AIアプリケーションを構築・展開できるようになったことを明らかにした。SDKは、OpenUSD（Universal Scene Description）とMJCF（MuJoCo）間のデータ相互運用性を可能にし、プラットフォーム間でロボットのシミュレーションを可能にする。また、「RTX Ray-traced 3D Gaussian splatting」技術により、開発者はセンサーデータを使って現実世界の物理的環境を3Dでキャプチャ、再構築、シミュレーションできる。Nvidiaは、Figure AI、Skild AI、Boston Dynamics、RAI Institute、Hexagon、LightwheelがOmniverseとIsaac Suite（SimとLab）を採用し、AI主導のロボットプロジェクトを加速させたと主張している。また、Amazon Devices & Servicesは、最新の製造ソリューションにNvidiaのシステムを採用した。重要な場所で注目されるクリプトポリタン・リサーチに広告を掲載し、暗号の最も鋭い投資家や構築者にリーチしましょう。

https://www.cryptopolitan.com/nvidia-introduces-cosmos-wfms/