Четкий объект на мягко размытом фоне создает ощущение глубины – эффект, который давно ассоциируется с профессиональной оптикой. Исследователи продолжают искать способы добиться такого результата и при съемке видео на смартфон.

В серии Galaxy Z функция «Портретное видео» передает характерную глубину кадра и боке¹, свойственные светосильным объективам². Чтобы добиться этого эффекта, специалисты Samsung Research изучили оптические характеристики реальных объективов и разработали технологию обработки видео на базе искусственного интеллекта, а команда MX оптимизировала ее для смартфонов.

Представители Samsung Newsroom поговорили с Ёнгёлем Кимом (YoungGeol Kim) из команды Visual Technology в Samsung Research и Сануком Паком (Sang-uk Park), отвечающим за разработку камер в подразделении Mobile eXperience (MX), о том, как исследовательская идея превратилась в полноценную функцию камеры Galaxy.

Вопрос. Что такое «Портретное видео» и что изменилось в этой функции в новой серии Galaxy Z?

Пак: «Портретное видео» сохраняет главный объект съемки в фокусе и мягко размывает фон. В результате объект заметнее выделяется в кадре, а видео приобретает кинематографичный характер.

В серии Galaxy Z интенсивность размытия естественным образом меняется в зависимости от расстояния между объектом и фоном. Небольшие яркие источники света на заднем плане превращаются в мягкие округлые боке – почти как при съемке светосильным объективом. Благодаря этому можно привлечь внимание к главному объекту и снимать на смартфон более объемные и атмосферные видео без дополнительного профессионального оборудования.

Кроме того, после съемки пользователи могут перевести фокус на другой объект или изменить степень размытия.

Как появилась идея технологии, лежащей в основе «Портретного видео»?

Ким: Я увлекаюсь фотографией уже 25 лет. Именно это увлечение привело меня к исследованиям и разработкам в области камер и пробудило устойчивый интерес к тому, как разные объективы формируют изображение.

Камеры смартфонов стремительно развивались: появлялись новые функции, заметно росло качество фотографий. Возможности видеосъемки тоже быстро совершенствовались, но мне казалось, что здесь еще есть большой потенциал – прежде всего в передаче глубины и характера размытия фона, свойственных профессиональной оптике. Мы предложили эту идею еще на этапе исследований. В то же время подразделение MX искало способы упростить создание видео профессионального уровня для пользователей. Так началась наша совместная разработка.

Как команды работали вместе, чтобы превратить «Портретное видео» в полноценную функцию камеры?

Ким: Существующих решений было недостаточно, чтобы добиться естественного изображения, характерного для настоящего объектива. В то время технология Samsung Research все еще находилась на исследовательской стадии, поэтому решение внедрить ее в коммерческий продукт было непростым. Тем не менее команда MX увидела ее потенциал и решила довести разработку до серийного устройства.

После этого начались масштабные испытания и доработка. Мы тестировали технологию непосредственно на смартфонах и постоянно обменивались отзывами, постепенно превращая ее в готовую функцию камеры.

Пак: Чтобы подготовить функцию к реальным условиям использования, нам пришлось снять огромное количество видео в самых разных ситуациях и тщательно проверить результаты. Поскольку функция ориентирована прежде всего на съемку людей, специалисты обеих команд даже выступали в роли моделей и снимали друг друга. Особое внимание мы уделяли тому, насколько естественно человек отделяется от фона и как выглядят размытие и боке на разных расстояниях.

После видеосъемки мы вместе анализировали результаты и обсуждали, что можно улучшить. Больше всего мне запомнилось, насколько заметно качество росло от теста к тесту.

Какая технология позволила вывести «Портретное видео» на новый уровень?

Ким: Главное – технология, которая позволяет воссоздать в видео на смартфоне характерное изображение светосильных профессиональных объективов. Для этого мы объединили искусственный интеллект и оптический анализ.

Простого размытия изображения недостаточно, чтобы передать глубину и естественный характер фона, которые дает профессиональная камера. Обычное размытие смягчает изображение за счет смешивания соседних цветов, а светосильный объектив работает иначе. Степень размытия естественным образом зависит от расстояния между объектом и фоном, а яркие точки света превращаются в боке, сохраняя свою форму и яркость. Форму и характер таких участков вне зоны резкости и называют боке.

Поэтому необходимо учитывать и расстояние между объектом и фоном, и то, как свет проходит через настоящий объектив.

Чтобы воссоздать этот эффект на смартфоне, потребовались два компонента. Сначала мы проанализировали, как свет распространяется внутри реального светосильного объектива и какое боке получается в результате, а затем преобразовали эти характеристики в данные. После этого мы объединили их с информацией о расстоянии до объектов в кадре, которую определяет искусственный интеллект. Благодаря этому система может менять степень размытия и размер боке в зависимости от расстояния между объектом съемки и фоном.

С какими техническими сложностями вы столкнулись при создании размытия и боке на смартфонах?

Ким: Самой сложной задачей было естественно обрабатывать границы между объектом и фоном, особенно такие мелкие и сложные детали, как волосы или оправа очков. На смартфоне одной лишь информации о расстоянии, рассчитанной искусственным интеллектом, недостаточно, чтобы точно определить такие границы. Даже небольшая ошибка может привести к тому, что отдельные пряди волос окажутся размытыми или часть фона, наоборот, останется резкой. В результате человек выглядит так, словно его искусственно вырезали из кадра.

Чтобы решить эту проблему, мы объединили рассчитанные искусственным интеллектом данные о расстоянии с информацией о границах объектов из исходного видео. Это позволило естественно отделять объект от фона даже в таких сложных областях, как волосы.

Пак: Крайне важно было добиться стабильного результата в самых разных условиях – при разной погоде и освещении, движении объекта и изменении расстояния до него. Мы снова и снова снимали видео в различных ситуациях, анализировали результат и устраняли неестественные эффекты с помощью программной оптимизации и дополнительного обучения искусственного интеллекта. Опираясь на технологию Samsung Research, специалисты MX по качеству изображения также оценивали результат с точки зрения пользователя и помогали дополнительно доработать функцию.

Что потребовалось, чтобы столь сложная обработка видео работала стабильно на устройствах серии Galaxy Z?

Ким: Самой серьезной задачей было снизить энергопотребление и нагрев, не жертвуя качеством. Видео представляет собой быструю последовательность кадров, поэтому обработка 4K-видео в реальном времени требует значительных вычислительных ресурсов.

Нам пришлось расставить приоритеты. Мы сохранили все вычисления, которые критически важны для качества изображения, и сократили их там, где пользователь практически не заметит разницы.

В результате удалось найти баланс между естественным эффектом профессиональной оптики и обработкой в реальном времени. Функция стабильно и эффективно работает даже при продолжительной записи.

Что вы посоветуете пользователям, которые хотят получить максимум от «Портретного видео»?

Ким: Чтобы боке было особенно заметным, ищите сцены, где на относительно темном фоне есть яркие источники света. Солнечные лучи, пробивающиеся сквозь листву, новогодние гирлянды или ночные фонари могут превратиться в мягкие круглые боке и сделать кадр более атмосферным.

При съемке человека лучше избегать яркого света прямо перед ним. Попробуйте расположить источник света позади или сбоку от объекта съемки. Так можно мягко подсветить волосы и контуры человека и одновременно сделать боке на заднем плане более выразительным. Отраженный свет или окружающие источники освещения, например уличные фонари, помогут избежать слишком темного лица и сделать изображение более сбалансированным.

Какую реакцию вы больше всего хотели бы услышать от тех, кто попробовал «Портретное видео»?

Пак: Мне хотелось бы, чтобы пользователи, авторы контента и профессионалы в области видео удивились тому, насколько просто теперь снимать кинематографичные ролики на смартфон. Надеюсь, естественное размытие, боке и возможности редактирования после съемки дадут им больше свободы и помогут добиваться именно того визуального эффекта и настроения, которые они задумали.

Ким: В конечном счете мне хотелось бы, чтобы люди почувствовали: им больше не обязательно носить с собой отдельную профессиональную камеру. Мы продолжим совершенствовать технологии, лежащие в основе этой функции, чтобы для создания кинематографичных видео было достаточно одного смартфона.

Чтобы перенести в мобильное видео малую глубину резкости и характерную работу со светом, свойственные профессиональной оптике, потребовались многочисленные испытания и тесное сотрудничество команд. Исследовательская идея должна была превратиться в надежную функцию, готовую к повседневному использованию. «Портретное видео», созданное благодаря совместной экспертизе Samsung Research и подразделения MX, расширяет возможности видеосъемки на Galaxy и дает пользователям больше инструментов для воплощения творческих идей.

¹ Боке – форма и характер размытия участков изображения вне зоны резкости. Особенно хорошо этот эффект заметен, когда небольшие источники света превращаются в круглые световые пятна.

² Светосильный объектив – объектив с широко открывающейся диафрагмой, которая пропускает больше света. Такая оптика позволяет сохранять главный объект резким, мягко размывая фон и создавая выразительное боке.