Все об искусственном интеллекте в телевизорах: апскейлинг, улучшение яркости, балансировка цвета и прокачка звука

30.12.2020

Вряд ли мы сильно ошибемся, назвав искусственный интеллект (далее ИИ) главным трендом последних лет. Никого уже не удивить возможностями ИИ в камерах телефонов, дипфейками, голосовыми ассистентами или «умными» лампочками. Одной из самых быстро-развивающихся областей для подобных технологий неожиданно для многих стали телевизоры. Впрочем, называть это полноценным ИИ и в 36-й раз вспоминать Скайнет не стоит, пока это не столько интеллект, сколько комплекс узконаправленных хорошо натренированных алгоритмов для улучшения изображения или звука. Просто, искусственный интеллект звучит одновременно круче и понятнее.

Как работает ИИ в телевизорах и что умеет?

Многие современные телевизоры ― это как бы уже и не совсем телевизоры. Когда на борту имеется процессор, оперативная память и небольшое хранилище, это уже больше похоже на компьютер. Однако с внедрением ИИ большинство крупных производителей позаботились о том, что для улучшения картинки в телевизоре использовался отдельный предназначенный для этого процессор. LG использует процессоры серии Alpha, у Samsung стоят чипы Crystal и Quantum, у Sony X, а у Phillips ― P5. Дальше мы разберемся с преимуществами и недостатками самых популярных чипов, а пока вернемся к вопросу, что именно и как они улучшают.

Развитие биг дата и машинного обучения открыло перед производителями новые возможности для автоматического улучшения изображения. Процессор способен определять, что именно происходит на экране, после чего увеличивать яркость или контрастность всего изображения, локально подсвечивать или затемнять определенные участки изображения, увеличивать разрешение и все в таком духе. И это лишь на самом базовом уровне. К примеру флагманский чипсет LG Alpha 9 умеет анализировать условия окружающей среды, подстраивая под него яркость и контрастность, а процессоры Quantum от Samsung весьма хороши в апскейлинге, вплоть до 8K.

Подробнее о том, как именно ИИ улучшает звук и картинку

Мощность флагманских процессоров вроде LG α9 и Philips P5 позволяет им в режиме реального времени анализировать и улучшать все изображение или какие-то отдельные его части. Сначала процессор определяет, что именно сейчас выводится на экран. Например, пейзаж с закатом над Токио, рвущие к финишу гоночные машины, пара дерущихся носорогов или сияющие бицепсы Дуэйна Джонсона. Алгоритмы тренировали, прогоняя через сотни тысяч изображений, чтобы они могли их лучше понимать, на что смотрят (животные, спорт, пейзажи и т. д.), а потом обрабатывать изображение согласно этой классификации. В общем-то, в этом нет никакой фантастики, похожие алгоритмы распознавания мы не первый год используем в камерах смартфонов.

Собственно после этого в дело и вступают алгоритмы подстройки, которые выбирают оптимальные показатели для шумоподавления, повышения детализации, усиления резкости, подстройки яркости, гаммы и т. д. У каждого производителя эти «улучшайзеры» могут по разному называться и отличаться в деталях, но на самом деле все сводится к нескольким схожим между собой процессам, которые проходят в несколько этапов.

Апскейлинг

За малопонятным термином апскейлинг на самом деле прячется довольно простой по своей сути процесс искусственного масштабирования изображения. Чтобы купив телевизор с 4K вы могли нормально посмотреть любимый фильм или сериал в этом самом 4K. Иначе, зачем вообще нужен такой телевизор? Идея апскейлинга не нова, вы могли встретить ее в некоторых DVD-плеерах от BBK, консоли Sony PlayStation 3 и многочисленных шпионских боевиках, в которых герой смотрит на фотографию с камеры наблюдения с гигантскими пикселями, потом говорит «компьютер, увеличить» и нам сразу же становятся видны черты лица злодея на фото. Первые 4K-телевизоры создавались без ИИ-процессоров и в этом плане тоже не блистали, просто масштабируя SD-ролики на всю площадь матрицы с помощью простого увеличения пикселей.

Технология апскейлинга в современных ТВ позволяет нейросети не только растягивать картинку, но и дорисовывать недостающие пиксели, сглаживать неровности, убрать лишний шум и размытость объектов, которые находятся в движении. Конечный результат в одних случаях смотрится практически идеально, в других терпимо. Зависит это как от конкретного телевизора и процессора, так и от типа контента. Поэтому многие производители оптимизируют алгоритмы масштабирования под разные типы контента (кино, спорт, игры), чтобы получить наилучший результат при просмотре того или иного контента. От себя добавим, что во время тестов некстген консолей мы сравнивали наитивное 4K разрешение в Xbox Series X с апскейлом до 4K в младшей Xbox Series S. И вот разница была видна только если подойти к телевизору ближе, чем на метр. Сравнивали мы на панели Samsung QE-55Q77TA, а играли в Gears 5 и Battlefield V.

Улучшение яркости и контрастности/резкости

После того, как разобрались с 4K, производители телевизоров стали популяризировать HDR-контент с расширенным динамическим диапазоном. Дискуссия перешла от размера пикселя к показателям статистический/пиковой яркости и контрастности. В итоге в активе каждого мало-мальски толкового процессора теперь есть по несколько подобных алгоритмов, которые кардинально отличаются по своей сути и конечному результату. Один телевизор просто подтягивает яркость и увеличивает контрастность (и это так себе улучшайзер), второй что-то делает, но непонятно что, а третий чуть ли не превращает обычный SDR-контент в HDR, покадрово колдуя над десятком настроек. Соответственно и эффективность таких алгоритмов зависит и от самого процессора, и от контента, который нужно улучшить. В одних случаях разница будет кардинальной, в других едва заметной, в третьих захочется поскорее ее отключить.

К примеру во флагманском процессоре Sony X1 Ultimate 8K используется продвинутый алгоритм управления подсветкой Backlight Master Drive с возможностью контролировать отдельные светодиодные модули. Флагманский LG α9 умеет применять к картинке алгоритм четырехступенчатого шумоподавления Quad Step, который производит корректировку ошибок, допущенных на этапе кодирования видео. А чип Quantum 4K от Samsung сцену за сценой анализирует каждую область панели телевизора, регулируя уровень подсветки в каждой зоне.

Улучшение цвета

Окей, картинка теперь в 4K, яркость и контрастность оптимальные, но чего-то все равно не хватает. Погодите, мы еще не добрались до улучшайзеров цветопередачи. Это пожалуй самый интересный и в то же время неоднозначный пункт. На так сказать «сочность» картинки влияет множество пунктов, включая ту же яркость и контрастность, а у производителей нет единого мнения по этим вопросам, поэтому в теме улучшения цвета очень много маркетинга и мало конкретики, что и как улучшается.

К примеру, во флагманских телевизорах Sony применяется 14-разрядная градация оттенков даже для 8-разрядных источников, плюс есть фича Super Bit Mapping 4K HDR, которая позволяет свести к минимуму эффект сегментации оттенков, свойственный обычным телевизорам. Фактически алгоритмы в режиме реального времени проводят оптимизацию по каждому цвету, благодаря чему обеспечивается естественное изображение с плавными переходами между полутонами. В телевизорах LG можно встретить связку из двух алгоритмов: Advanced Color Enhancer искусственно усиливает цветопередачу, а True Color Accuracy корректирует ее, чтобы все выглядело натурально. А в телевизорах H-серии от Samsung используется алгоритм Purcolor, который дробит пиксели на более мелкие части и закрашивает их в наиболее подходящий цвет. В отличие от большинства цветовых улучшайзеров, Purcolor работает не только с основными цветами (красный, зеленый, синий), но и с дополнительными (пурпурный, голубой и желтый).

Усиление глубины черного

LED-дисплеи прошлого не особо умели работать с черным цветом. Можно было выкрутить ползунок уровня черного в плюс, чтобы подсветить детали в темных областях изображения, но тогда изображение казалось неестественно пересвеченным. Либо наоборот убрать его в минус, чтобы черный цвет выглядел действительно глубоким и черным. В таком случае терялась читаемость других элементов изображения, а темные сцены выглядели так, словно их снимали в колодце.

С появлением ИИ, QLED и OLED-панелей, а также многочисленных улучшайзеров производители телевизоров всерьез взялись за черный цвет, понимая, насколько он важен для восприятия всей картинки. Добиться этого не так уж просто, поэтому универсального рецепта пока не нашлось. Чаще всего используется локальная подсветка, когда каждый светодиод экрана подсвечивается индивидуально, а ненужные участки вообще не высвечиваются, позволяя оставлять черный цвет черным.

Шумоподавление

В некоторых телевизорах процессоры научились искусственно снижать уровень шумов. К примеру в архиве Sony имеется гигантский архив с десятками тысяч эталонных записей, собранных за годы работы над производством фильмов и телепередач. Именно по этим базам Sony строит свои нейросети-улучшайзеры. Работает это так: процессор «видит» изображение на экране и сверяется с базой. Это пудель. Это машина. А это Криштиану Роналду. Затем в два этапа происходит очистка: искусственный интеллект сверяется сначала с одной базой данных, снижая уровень шумов, потом обращается ко второй базе, чтобы придать отредактированному изображению необходимую четкость.

Интеллектуальная обработка звука

Алгоритмы искусственного интеллекта научились работать не только с изображением, но и со звуком. Вариантов реализации — тьма тьмущая. Самая банальная ― разложить стерео-сигнал на виртуальные каналы 5.1. Задачка посложнее ― корректировка звука по жанру. ИИ по ряду показателей может попытаться определить жанр видеоконтента (кино, тв-передача, музыка), после чего оптимизировать звучание так, чтобы оно усиливало впечатление от аудиоряда. Например, сделать голос ведущего телепередачи новостей громче и четче. Прибавить «веса» взрывам и спецэффектам во время финальной битвы в условных «Мстителях».

И это только цветочки. К примеру, в панелях от Samsung (например QE-65Q95TA) применяется так называемая функция объектно-ориентированного звука (OTS). ИИ анализирует движение объектов в кадре и определяет, с какого участка экрана исходит звук, после чего с помощью встроенных динамиков и саундабара звучание фокусируется в нужной области экрана. Проще говоря, если с левого верхнего угла дисплея в правый нижний угол плывет катер, то звук мотора как бы будет «плыть» вслед за ним, а не находиться в статике, как в обычных телевизорах. Флагманские модели LG вроде OLED65C9 с помощью встроенных в пульт микрофонов анализируют акустическую сцену помещения, где стоит телевизор, после чего перераспределяет звуковой поток для создания 360-градусного эффекта погружения.

Управление умным домом

Ну и не забываем про умные функции вроде рекомендаций контента, автоматического переключения режимов работы или управления «умной» бытовой техникой с помощью голосового помощника. Например, запустить с помощью телевизора робот-пылесос или выключить умную плиту на кухне. Таким образом телевизор становится новым главой в умном доме, заменив в этой роли не особо практичные смарт колонки. Впрочем, управление смарт-лампочки, интернет вещей и умные дома ― это уже тема для отдельного разговора.