Как Nvidia собирается двигать технологический прогресс? Начало здесь

Как Nvidia собирается двигать технологический прогресс? Начало здесь.

На выставке CES 2025 Nvidia представила платформу Cosmos - первой ИИ платформы, направленной на моделирование физического мира.

Платформа предназначена для создания и обучения систем искусственного интеллекта, которые взаимодействуют с физическим миром, включая автономные транспортные средства и роботов.

Cosmos обучен на 20 миллионах часов видео с фокусом на физическую динамику: движения природы, людей, объектов. Модель в дальнейшем обучается на синтетических данных, созданных ИИ в различных управляемых или автономных сценариях.

В чем особенности платформы Cosmos?

Фундаментальная модель физического мира. Cosmos представляет собой Foundation Model, обученную на данных, связанных с физической динамикой:

• Движения объектов и людей.

• Геометрические и пространственные взаимодействия.

• Законы физики (гравитация, трение, инерция).

Синтетическая генерация данных. Cosmos используется для создания больших объемов данных, которые необходимы для обучения систем ИИ:

• Симуляция реальных сценариев.

• Генерация данных для редких или экстремальных случаев (например, аварийных ситуаций).

Физически точные симуляции.

• Платформа интегрируется с NVIDIA Omniverse, что позволяет создавать цифровые двойники и точные симуляции реальных объектов.

• Cosmos может моделировать окружающую среду, освещение, погодные условия и другие аспекты реального мира.

Поддержка мультисенсорных данных. Генерация данных для различных типов сенсоров, таких как камеры, LiDAR, радары.

Зачем нужна платформа Cosmos?

Обучение и тестирование моделей для робототехники. Обучение роботов действиям, таким как сбор предметов, манипуляция объектами и навигация в пространстве

Оптимизация работы автономных систем. Cosmos помогает обучать модели для автономных автомобилей, создавая сценарии дорожного движения с разными условиями: погодными, временными и тд.

Промышленная автоматизация. Проектирование цифровых двойников для оптимизации операций, таких как маршрутизация складских роботов и управление потоками грузов, в работе конвейера и тд.

Создание миров для виртуальной реальности. Использование Cosmos для создания среды, в которой пользователи могут тренировать системы, тестировать ИИ или создавать контент. Разработка 3D-сценариев для кино, игр или тренажеров.

Реализация физически обоснованных моделей. Cosmos поддерживает создание симуляций, учитывающих физические законы, такие как гравитация, трение и инерция. Может применяться в космонавтике.

Концепция умного города. Cosmos может помочь в разработке технологий управления движением, анализа данных с камер и сенсоров в городских условиях. Симуляция потоков пешеходов и транспорта для оптимизации городской инфраструктуры.

В презентации значительный блок был посвящен автономным транспортным средствам и особый акцент на робототехнике, что можно интерпретировать, что именно эти два направления станут основными для Nvidia.

Внедрена платформа Isaac GR00T:

• Обновленный пакет для создания синтетических наборов движений роботов;

• Система позволяет оператору в VR-гарнитуре выполнять действия, которые затем разбиваются на фазы движения;

• Создает множество альтернативных вариантов движений на основе небольшой выборки действий оператора.

Платформа предназначена для обучения роботов основными операциями в производственных процессах с учетом внештатных ситуация и систем безопасности, что позволит в будущем создавать высокоэффективные промышленные кластеры с круглосуточной работой автоматизированных роботизированных комплексов.

Введение концепции трех типов компьютеров для роботизированных систем:

• Обучающий компьютер (DGX): для создания моделей ИИ.

• Встроенный компьютер (AGX): размещается в роботе, автомобиле или на предприятии.

• Цифровой двойник: для симуляции, тестирования и генерации данных.

Если раньше презентации Nvidia были с акцентом на дата центры, сейчас акцент резко сместился в реальный, физический мир – робототехника и автономные ИИ системы теперь новый тренд, в особенности человекоподобные роботы.