Царство иллюзорных мегапикселей
Даже самые строгие скептики соглашаются, что для реализации фотопотребностей среднестатистического пользователя возможностей современного смартфона даже среднего уровня вполне достаточно. Тем не менее, гонка за мегапикселями продолжается: то и дело появляются анонсы новых сенсоров для смартфонов и аппаратов на базе оных.
Так, летом 2018 года японская компания Sony представила первый на тот момент в мире CMOS-сенсор для смартфонов с поддержкой эффективного разрешения 48 млн пикселей – IMX586. Гаджетов с ним вышло довольно много – в качестве примера достаточно вспомнить ASUS ZenFone 6, Honor View 20 (бренд Huawei) и Xiaomi Mi 9, и конце 2019-го был анонсирован скорый выход следующего поколения датчиков – для смартфонов IMX686. Ожидается, что новый модуль будет обладать разрешением 64 Мп, а первым смартфоном на его базе станет Redmi K30 (бренд Xiaomi).
Параллельно с Sony новые фотомодули успела выпустить южнокорейская компания Samsung, предлагающая сенсоры с поддержкой 48 Мп (S5KGM2), 64 Мп (S5KGW1) и даже 108 Мп (S5KHMX). В частности, первые смартфоны с 48-Мп камерами появились еще в декабре 2018 года – интересно, что многие из них не были флагманами, а тянули скорее на увесистых середнячков. Сегодня таких смартфонов уже десятки. При этом цены на них даже снижаются, а технические характеристики (по крайней мере заявляемые на уровне маркетинговых отделов) растут не по дням, а по часам.
За счет каких технологий это стало возможным? Как прирост мегапикселей влияет на качество фотографий? Можно ли считать эти мегапиксели в полной мере настоящими? Какие достоинства и недостатки таят в себе смартфоны с новыми фотосенсорами? Попробуем разобраться.
Магия светофильтров
Уместить больше пикселей на сенсоре можно либо за счет уменьшения размеров самого пикселя, либо за счет увеличения площади сенсора. Так что количество эффективных мегапикселей – это всегда компромисс между этими показателями. В новых сенсорах Sony и Samsung для смартфонов чаще всего используются матрицы со стороной пикселя 0,8 мкм, хотя существуют варианты и с 0,7 и 0,9 мкм. На момент написания этих строк самый маленький пиксель (0,7 мкм) используется в матрице Samsung S5KGH1. При этом сами матрицы в самых современных модулях в среднем составляют 6-10 мм в диаметре. Максимальный размер сенсора ограничен требованиями со стороны производителей смартфонов, так что развернуться особо некуда: тренд на «лопаты» прошел, а для крупных сенсоров в обычных смартфонах места нет.
В новых матрицах действительно больше реальных (а не виртуальных, как некоторым кажется) пикселей, но маркетинг (и не только) кроется в деталях. Главный вопрос – как именно используются «избыточные» пиксели? И вот тут начинается самое интересное. Дело в том, что без использования светофильтров фотодиоды способны воспринимать лишь черно-белое изображение, поэтому и в старых, и в новых матрицах для получения полноценных цветных изображений каждый фотодиод покрывается соответствующим светофильтром, а уже позже с помощью программных алгоритмов происходит восстановление цветовой палитры изображения.
В матрицах смартфонов используется так называемый фильтр Байера – массив цветных фильтров, где каждому пикселю соответствует один из трех основных цветов RGB-модели – красный, зеленый, синий. Цвета чередуются в определенном порядке, при этом зеленых элементов вдвое больше, чем остальных, ибо человеческий глаз наиболее чувствителен именно к зеленому свету. Таким образом, например, в обычной 12-мегапиксельной матрице можно насчитать 6 млн зеленых пикселей и по 3 млн красных и синих. Чтобы выяснить цветовой оттенок каждой ячейки необходимо обработать информацию как минимум от девяти соседних фотодиодов. Этот базовый подход был разработан инженером Брюсом Байером в 1976 году.
В новых CMOS-матрицах (2018-2019 гг.) инженеры решили немного доработали фильтр Байера. В Sony его называют Quad Bayer, а в Samsung – TetraCell (это одно и то же, только в первом слово «четыре» написано по-латински, а во втором – по-гречески): каждый покрывает сразу четыре физических пикселя в виде квадрата 2×2 (а не один, как в оригинале). При этом порядок чередования цветов и базовая структура не отличаются.
Достоинства
Особая, учетверенная структура расположения светофильтров увеличивает адаптационные возможности новых матриц при работе в различных сценариях. Но чем меньше пиксель, тем меньше света он способен собрать, следовательно, при съемке ночью это может привести к ухудшению качества фото. Поэтому в условиях плохой освещенности сенсоры с поддержкой Quad Bayer/TetraCell работают в режиме «больших пикселей»: так как фильтр одного цвета покрывает сразу четыре соседних ячейки-пикселя, то камера работает с подобным блоком как с одним большим пикселем.
В качестве примера стоит рассмотреть довольно распространенный чип Sony IMX586. Сторона пикселя в нем составляет 0,8 мкм, однако в режиме Quad Bayer камера работает с аналогами пикселей со стороной 1,6 мкм, а значит разрешение матрицы падает с 48 Мп до 12 Мп. Тогда как у наиболее распространенных чипов Sony на 12 Мп размер пикселя обычно меньше – 1,2–1,4 мкм (например, у Sony IMX363 – - 1,4 мкм), поэтому камера с пикселем в 1,6 мкм при плохом свете способна выдать более качественные ночные снимки, чем на «обычных» 12-Мп сенсорах.
Другой сценарий – съемка в солнечный день. В таком случае на первый план выходит максимальное разрешение, достигаемое за счет минимально возможного размера пикселя: матрица переключается (автоматически или вручную) в режим работы с пикселем 0,8 мкм и после соответствующей цифровой обработки сигнала способна получить заявленные 48 Мп. Будут ли такие снимки в четыре раза более четкими и детализированными, чем сделанные на 12-Мп сенсоры? Да, будут лучше, но точно не в четыре раза. Чтобы качество фото выросло прямо пропорционально росту мегапикселей, необходимо соответствующее увеличение размеров сенсора, но в реальности они увеличиваются незначительно либо остаются такими же. А ведь есть еще разрешающая способность оптики и множество других параметров, про которые производители совсем «позабыли».
Третий очевидный сценарий для матрицы с поддержкой Quad Bayer/TetraCell –ъемка HDR за один кадр. Такую матрицу можно условно разделить на две части: одна снимает фото с короткой выдержкой, а другая в тот же момент времени – с длинной. Напомню: обычно, чтобы получить простейший HDR-кадр, необходимо снять две фотографии с разной выдержкой и объединить их. В случае с Quad Bayer это можно делать быстрее и менее затратно с точки зрения ресурсов смартфона. Однако HDR-съемка не будет доступна в максимальном для матрицы разрешении, так как основана на использовании режима Quad Bayer/TetraCell.
Недостатки
Частично о них мы уже поговорили в предыдущих разделах. В частности, нужно понимать, что эффективность работы сенсоров для смартфонов во многом зависит от ограничений, обойти которые сегодня не в состоянии никто и никак. Помимо упомянутых ранее размеров пикселя и матрицы, стоит отметить невозможность установки на смартфоны нормальной оптики. Именно поэтому на рынке появляются технологии типа Quad Bayer/TetraCell, с помощью которых инженеры и программисты пытаются выжать максимум полезной информации из данных, получаемых сенсором на пределе технических возможностей.
Безусловно, физически меньший размер пикселей, благодаря которому удалось повысить качество дневных снимков, в целом скорее является недостатком, ведь от этого страдает общая светочувствительность матрицы, растет влияние взаимных шумов и прочих негативных артефактов. Да, пиксели настоящие, и чисто номинально мы действительно можем говорить о реальных 48 и более мегапикселях, однако способ работы с ними вынуждает делать оговорки в каждом предложении. В частности, учетверенный вариант фильтра Байера значительно усложняет работу с цветовой палитрой кадра на уровне алгоритмов обработки снимка. Это касается как дневных, так и ночных режимов. В режиме крупнопиксельной 12-Мп камеры (ночной режим) матрица как бы обманывает систему за счет Quad Bayer/TetraCell, а в дневном режиме с маленьким пикселем, для того чтобы извлечь всю нужную информацию с матрицы и правильно интерпретировать ее, придется потратить больше вычислительных ресурсов смартфона, что увеличивает время получения кадраНе стоит также забывать, что в ночном режиме мы имеем дело не с цельным крупным пикселем, а с трансформером, собирающимся из четырех отдельных. Именно поэтому в некоторых смартфонах с поддержкой 48 Мп по умолчанию активирован режим 12 Мп, так как по сути на данный момент он более универсальный.
Выводы
Удалось ли производителям и маркетологам убить двух зайцев одним выстрелом? Отчасти. Факт остается фактом: новые матрицы позволяют делать более детализированные снимки при дневном освещении и при этом не потерять в качестве снимков, сделанных в условиях низкой освещенности. Этого удалось добиться за счет технологии Quad Bayer/TetraCell, которая позволяет варьировать рабочий размер пикселя. При этом в конечном счете работа с кадрами на уровне алгоритмов обработки изображений явно усложнилась. Многое будет зависеть от конкретной программной реализации работы с новыми матрицами в зависимости от модели смартфона.
Дополнительные программные фильтры помогут выжать из этой технологии максимум, после чего мы будем вынуждены вновь вернуться к риторическому вопросу о степени натуральности кадров, снятых камерами современных смартфонов. Проблема заключается в том, что производители смартфонов и фотосенсоров для них приблизились к той черте, когда улучшить качество фотографии за счет технических доработок матрицы не представляется возможным. Почти все современные нововведения в этой области в большей степени касаются программных алгоритмов обработки изображения, а не «железа». Поэтому при выборе смартфона с новым или старым сенсором, лучше всего ориентироваться на свой бюджет. Если вопрос цены не слишком критичен, советую взять устройство на базе новых сенсоров – безусловно, с точки зрения пользователя кадры будут лучше, чем у предыдущих поколений, хотя бы за счет новых алгоритмов обработки. Если разница в деньгах существенна, спокойно берите гаджет с «честными» 12 мегапикселями (без поддержки Quad Bayer/TetraCell) – скорее всего, ваши снимки будут не хуже. В гонке за смартфонными пикселями смысла мало.
Опубликовано 07.02.2020