NVIDIA подтверждает, что DLSS 5 использует 2D-кадр плюс векторы движения в качестве входных данных.

от

Ответы на вопросы о последующих версиях DLSS 5 от NVIDIA вызывают вопросы относительно более ранних сообщений.

Недавно Джейкоб Фриман из NVIDIA объяснил Ютуберу Дэниелу Оуэну, как работает DLSS5. Его объяснение затронуло ключевой вопрос о технологии, и ответ удивил многих игроков.

Инвестируйте с умом. Наш канал посвящен глубокому анализу фондового рынка: отчетность, мультипликаторы и долгосрочные стратегии.

Получить инвест-идеи

NVIDIA подтвердила, что DLSS 5 работает, используя стандартное 2D-изображение и данные о движении в качестве отправной точки. Это объяснение последовало за вопросами о внутренней работе технологии. Оказывается, процесс более прямолинеен, чем предполагалось в более ранних описаниях NVIDIA, которые были сосредоточены на сложных аспектах, таких как геометрия и анализ сцены.

DLSS 5, похоже, не использует напрямую информацию о 3D-формах, глубине или материалах в игре. Вместо этого, она в основном работает, обрабатывая одно 2D-изображение вместе с векторами движения для создания финального изображения. NVIDIA подтвердила это, заявив, что DLSS 5 может понимать такие детали, как волосы, одежда, кожа и освещение — и всё это из анализа только одного кадра.

NVIDIA изначально намекнула, что DLSS 5 будет анализировать игровые сцены в деталях, но недавние уточнения показывают, что это не совсем так. На вопрос, считывает ли DLSS 5 данные о материалах (например, насколько они блестящие или шероховатые) напрямую из игрового движка, NVIDIA объяснила, что использует только готовое изображение и то, как все движется. Это означает, что DLSS 5 определяет, как выглядят материалы, основываясь на конечном изображении, а не получая эту информацию напрямую из кода игры.

Опасения, которые возникли у некоторых людей по поводу предварительных изображений, могут быть связаны с визуальными изменениями, происходящими в процессе. Например, на одном изображении был показан персонаж, у которого в месте, где раньше не было волос, развивались более детализированные волосы. Другое показало заметные изменения черт лица, таких как нос, заставляя людей задуматься, действительно ли технология изменяет внешность персонажа, а не просто улучшает освещение. NVIDIA объяснила, что базовая 3D-модель остается прежней, и подчеркнула, что это были очень ранние тестовые изображения. Хотя это проясняет, что базовые данные не меняются, это не меняет тот факт, что финальное изображение все еще может *выглядеть* иначе.

NVIDIA указывает на то, что разработчики имеют ограниченный контроль над процессом улучшения изображения. Хотя они могут регулировать такие настройки, как яркость, цвет и контрастность, и даже маскировать определенные области, они не могут напрямую исправлять конкретные детали, такие как черты лица или эффекты макияжа, сверх простого уменьшения или отключения улучшения. Многие разработчики, вероятно, были бы удовлетворены, если бы NVIDIA позволила им предоставлять свои собственные более качественные рендеры лиц, возможно, как функцию в будущей версии (например, DLSS5). В настоящее время, похоже, лица по-прежнему генерируются полностью с помощью ИИ.

Вот полный обмен сообщениями между Даниэлем и Джейкобом:

Я пытаюсь понять, работает ли эта модель, используя одно статичное изображение (плюс данные о движении) для генерации следующего изображения в последовательности. У меня есть несколько дополнительных вопросов о том, как это работает, которые я перечислю ниже.

Ответ: Да, DLSS 5 принимает 2D-кадр плюс векторы движения в качестве входных данных.

Вы упомянули, что основные формы и детали не изменились. Действительно ли модель понимает трехмерную структуру и глубину сцены, или она просто обрабатывает плоское изображение, как ИИ, улучшающий скриншот, чтобы сделать его более реалистичным? Другими словами, она действительно рассуждает о трехмерном мире или просто улучшает двухмерную картинку?

DLSS 5 предназначен для интеллектуального понимания того, что находится в сцене – например, люди, волосы, одежда и даже то, как свет падает на кожу – все это только по одному изображению. Он учитывает такие вещи, как ярко ли освещена сцена спереди, сзади или облачно.

Вы утверждаете, что DLSS 5 не изменяет основные визуальные элементы – формы и текстуры объектов. Однако, некоторые примеры показывают заметные изменения, например, у персонажа внезапно вырастают волосы или появляется макияж, которого раньше не было. Это говорит о том, что DLSS 5 улучшает не только освещение; кажется, что он фактически изменяет внешний вид персонажа, почти как будто ИИ переосмысливает его и меняет детали в оригинальной модели и текстурах.

Основные формы и структура остаются прежними. Имейте в виду, что это очень ранний взгляд на технологию.

Вы упомянули, что DLSS5 улучшает то, как выглядят материалы с использованием PBR (Physically Based Rendering). Действительно ли он считывает свойства PBR непосредственно из игрового движка, или он просто *угадывает* их, глядя на готовое изображение? Традиционно художники говорят шейдеру, как должен выглядеть объект, устанавливая свойства, такие как металличность, шероховатость и неровность. Использует ли DLSS5 эти значения, определенные художником, или он выясняет их из готовой картинки?

DLSS 5 работает, используя только готовое изображение и его данные о движении. Он определяет, какие материалы присутствуют, непосредственно из этого изображения.

Уровень контроля, который разработчики имеют над тем, как DLSS5 интерпретирует художественное видение сцены, кажется ограниченным, за исключением простого изменения цветов или понижения настроек DLSS5. Например, в открывающей сцене Resident Evil Requiem персонаж Грейс изображен как травмированный и нерешительный. Когда DLSS5 выключен, это ощущение передается более четко. Однако, когда DLSS5 включен, хотя освещение и кожа выглядят более реалистично, он также добавляет эффект макияжа, которого изначально не было. Это меняет то, как воспринимается персонаж, и влияет на эмоциональный вес сцены. Неясно, могут ли разработчики контролировать аспекты изображения, кроме цвета; если им не нравится вывод DLSS5 – например, добавленный макияж – могут ли они его настроить?

Разработчики будут иметь точный контроль над такими функциями, как интенсивность и цвет, что позволит им точно настраивать смешивание, контрастность, насыщенность и гамму. Они также могут выбрать, где и как применять улучшения, гарантируя, что визуальный стиль игры останется согласованным. Кроме того, разработчики могут исключить определенные объекты или области из улучшений. Мы активно работаем с разработчиками, чтобы понять их потребности и то, как лучше всего реализовать эти элементы управления. Наша цель с DLSS 5 – дать разработчикам мощный инструмент для реализации их художественного видения, выходя за рамки ограничений стандартной рендеринга в реальном времени.

Учитывает ли эта модель только то, что находится в данный момент на экране, или она также может понимать игровую среду за пределами того, что непосредственно видно?

Ответ: DLSS 5 принимает в качестве входных данных только отрендеренный кадр и векторы движения.

Теперь, когда DirectX включает DirectML, который ускоряет задачи машинного обучения на любой видеокарте, будет ли Nvidia сохранять свою игровую технологию, такую как DLSS5, эксклюзивной для оборудования Nvidia? Или Nvidia позволит этим моделям работать с DirectML на видеокартах любого производителя?

Ответ: У нас нет никаких объявлений на этот счет в данный момент.

Daniel Owen: Nvidia отвечает на мои 5 вопросов о DLSS 81 590 просмотров

Смотрите также

2026-03-20 11:36