Фильтр байера что это
Фильтр Байера
Фильтр Байера. Шаблон Байера — двумерный массив цветных фильтров, которыми накрыты фотодиоды матриц (фото), и состоящий из 25 % красных элементов, 25 % синих и 50 % зелёных элементов, расположенных как показано на рисунке.
Назван в честь его создателя, доктора Брайса Э. Байера (англ.) (англ. Bryce Bayer ), сотрудника компании Kodak, запатентовавшего предложенный им фильтр в 1976 г.
Используется для получения цветного изображения в матрицах цифровых фотоаппаратов, видеокамер и сканеров.
Для отличия от других разновидностей его называют GRGB, RGBG, или (если надо подчеркнуть диагональное расположение красного и синего пикселов) RGGB.
Содержание
Принцип работы
Матрица является устройством, воспринимающим спроецированное на него изображение. Поскольку полупроводниковые фотоприёмники примерно одинаково чувствительны ко всем цветам видимого спектра, для воспринятия цветного изображения каждый фотоприемник накрывается светофильтром одного из первичных цветов: красного, зелёного, синего (цветовая модель RGB).
Вследствие использования фильтров каждый фотоприемник воспринимает лишь 1/3 цветовой информации участка изображения, а 2/3 отсекается фильтром. Для получения остальных цветовых компонент используются значения из соседних ячеек. Недостающие компоненты цвета рассчитываются процессором камеры на основании данных из соседних ячеек в результате интерполяции (по алгоритму demosaicing) Таким образом, в формировании конечного значения цветного пиксела участвует 9 или более фотодиодов матрицы.
В классическом фильтре Байера применяются светофильтры трёх основных цветов в следующем порядке:
При этом фотодиодов зелёного цвета в каждой ячейке в два раза больше, чем фотодиодов других цветов, в результате разрешающая способность такой структуры максимальна в зелёной области спектра, что соответствует особенностям человеческого зрения.
Изменения в структуре расположения
Для снижения заметности артефактов дебайеризации были разработаны модифицированные фильтры Байера, содержащие изменения, «разбавляющие» однородную периодическую структуру «неправильным» расположением части цветных пикселей. Вместо минимального 4-х пиксельного элемента матрицы повторяется 12- или 24-пиксельный. Однако они не нашли массового применения из-за значительного роста необходимой вычислительной мощности для обработки полученного изображения. [1]
Пример применения
Сфотографируем исходный объект (для наглядности его часть увеличена):
 | → |  |
При этом получаются три цветовые составляющие:
 | ||
| ↓ | ||
 |  |  |
| ↓ | ||
 |
Таким образом, мы получили изображение, каждый пиксель которого содержит только одну цветовую составляющую одной из предметных точек, спроецированных на него объективом. И только 4 предметных точки, рядом расположенных и спроецированных объективом на блок пикселей RGGB, приближенно формируют полный набор RGB 1-й усредненной предметной точки. Далее, процессор камеры должен, используя специальные математические методы интерполяции, рассчитать для каждой точки недостающие цветовые составляющие. В результате получается следующее изображение:
Как видно на картинке, это изображение получилось более размытым, чем исходное. Такой эффект связан с потерей части информации в результате работы фильтра Байера. Для исправления процессор фотоаппарата должен повысить чёткость изображения. Процесс искусственного повышения чёткости называется Sharpening. Дополнительно, в этот момент процессор может применить и другие операции: изменить контрастность, яркость, подавлять цифровой шум и т. д. в зависимости от модели аппарата. Получение более чётких изображений в первую очередь достигается увеличением количества пикселей сенсора, что уменьшает его размытость. Так как вычислительная мощность процессора фотоаппарата ограничена, многие фотографы предпочитают делать эти операции вручную на персональном компьютере. Чем дешевле фотоаппарат, тем меньше возможностей повлиять на эти функции. В профессиональных фотокамерах функции коррекции изображения отсутствуют совсем, либо их можно выключить.
Современные модели однообъективных зеркальных цифровых фотоаппаратов (и некоторые компактные фотокамеры) позволяют записывать изображения в т. н. «сыром» RAW-формате, где изображение записывается в виде сигналов яркости в каждом диоде, то есть в черно-белом виде, не неся никакой цветовой формы, и в файл записываются данные, полученные напрямую с матрицы, которые в процессе интерполяции формируют изображение в любом виде на компьютере, обладающем намного большей вычислительной мощностью и возможностями ручного управления параметрами преобразований.
Недостатки
История, аналоги
Фильтр Байера и расположение световоспринимающих элементов в одной плоскости ведут своё происхождение от растрового способа цветной фотографии.
Четверной фильтр Байера: чего от него ждать… и чего не ждать?
Константин Иванов
В декабре появились первые смартфоны с 48 МП камерами, а сейчас мы наблюдаем их неожиданное засилье. Что интересно, значительная их часть относится к среднему сегменту, в то время как многие флагманские аппараты оснащены 12 МП сенсором. В чем же дело?
А дело в том, что появился четверной фильтр Байера. И поскольку отделы маркетинга в компаниях зачастую не в состоянии доходчиво объяснить, что это за сенсор, придется сделать эту работу за них.
Что такое фильтр Байера?
Начнем с азов. Фильтр Байера – это цветная мозаика из красного, зеленого и синего фильтров, которые позволяют цифровому сенсору делать цветные снимки. Полупроводниковые пиксели не «видят» цвета, они только собирают то количество света, которое на них попадает, так что без фильтра вы просто получите черно-белый кадр. Фильтр Байера обеспечивает то, что свет, попадающий на каждый пиксель, имеет один из трех первичных цветов.
В результате в 12 МП сенсоре 6 млн пикселей «видят» зеленый и по 3 млн – красный и синий цвет. Алгоритм, носящий название демозаики, используется для интерполяции полного изображения с разрешением 12 МП.
Название «четверной фильтр Байера» несколько некорректно само по себе, потому что на самом деле он ничем не отличается от обычного фильтра Байера. А изменился не сам фильтр, а сенсор – в новом сенсоре каждому цветному квадрату соответствуют четыре пикселя, а не один.
Итак, в действительности эти 48 МП четверные сенсоры не дают большей детализации, чем 12 МП сенсоры. Производители сенсоров будут рассказывать вам, что более умные алгоритмы демозаики позволят передать больше деталей, но по опыту, выигрыш тут невелик, если он вообще есть.
Где можно найти четверные фильтры Байера?
В последнее время 48 МП сенсоры наиболее популярны – ими оснащены десятки смартфонов. Все началось с Huawei и ее 40 МП сенсоров в аппаратах P20 Pro, Mate 20 Pro и Mate 20 X. Китайская компания даже установила вторую версию сенсора в Huawei P30 и P30 Pro, где последовательность цветов была красный – желтый – желтый – синий вместо красный – зеленый – зеленый – синий, но принцип оставался тем же.
Есть также несколько моделей смартфонов с 32 МП селфи-камерами с четверным фильтром Байера, например, Vivo V15 Pro и Samsung Galaxy A70. У них такой же размер пикселя (0.8µm), но физически они меньше, поэтому имеют более низкое разрешение.
Недавно Samsung анонсировала 64 МП сенсор с четверным фильтром Байера, и вновь у него тот же размер пикселя, но меняется размер самого сенсора – он на 33% больше, чем текущий размер 48 МП сенсоров.
На что способен сенсор с четверным фильтром Байера?
Как уже говорилось, истинная сила четверного фильтра совсем не там, где ее ищут. Благодаря ему группа из четырех пикселей, которые составляют цветной квадрат фильтра, может выступать как один или как отдельные сенсоры.
С момента появления это одни из самых больших сенсоров, когда-либо установленных в смартфоны. К примеру, Sony IMX586 – первый 48 МП сенсор и один из самых популярных – имеет размер по диагонали 8 мм. IMX363, который используется в Pixel 3, и Samsung S5K2L4, который стоит в S10, имеют 7.06 мм по диагонали. Это порядка 30-процентного прироста в площади.
Однако размер пикселя сильно различается, 0.8µm для 48 МП сенсоров и 1.4µm для традиционных. Все маркетинговые материалы о 48 МП сенсорах подчеркивают, что в них может использоваться пиксельный биннинг и они могут работать так, как если бы размер пикселя составлял 1.6µm.
Так создается 12 МП изображение. Размер 1.6µm – это то, о чем часто говорят, но это не то, что может полностью решить проблему работы сенсора в условиях недостаточного освещения. Появление шумов – это случайный процесс, и если большой пиксель традиционного сенсора воспринимает шум вместо сигнала, с этим мало что можно сделать (разве что компенсировать интерполяцией данных с соседних пикселей).
Впрочем, если один из четырех пикселей сенсора с четверным фильтром поймает шум, потеряется всего 25% информации – а это уменьшает шум в четыре раза, не снижая резкости изображения.
В качестве альтернативы, сенсор может разделяться на два логических сенсора – один для короткой экспозиции и другой для длинной. Этот вариант используется при дневном свете для съемки в реальном времени в HDR.
Можно уменьшать шум и снимать в HDR и при помощи обычного, а не четверного сенсора, делая два (или более) кадра один за другим, а потом объединяя их. Так происходит в смартфонах Pixel, и они вполне успешно справляются с задачей.
Однако есть проблема: движущиеся объекты при съемке с последовательной экспозицией меняют положение. А четверной фильтр Байера делает два снимка одновременно, так что не требуется применения искусственного интеллекта для коррекции артефактов, вызванных движением объекта. Вот как выглядит неудавшаяся коррекция.
Вот самый простой способ объяснить принцип работы четверного фильтра Байера: он позволяет ПО камеры делать одновременно два снимка. Это дает возможность применять обработку изображения в HDR и ночном режиме, вот почему современные смартфоны делают фотографии высокого качества – аппаратная часть при этом не имеет существенных отличий.
Каковы возможности технологии?
В отличие от LCD, где у каждого пикселя есть красный, зеленый и синий субпиксели, в обычном сенсоре на каждый пиксель приходится только один субпиксель. Но при этом нельзя было бы говорить о таком высоком разрешении, поскольку эти пиксели расположены близко друг к другу и восстановление исходного изображения происходит за счет демозаики (хотя люди, которые везде способны различать пиксели, всегда скажут, что оно не идеально).
В четверном фильтре Байера пиксели разного цвета находятся дальше друг от друга, и демозаика менее эффективна (что бы там ни говорили производители). Так что в случае с 48 МП вы не получите в 4 раза лучшую детализацию, чем с 12 МП. На самом деле, если отключить HDR и другие режимы обработки на 48 МП, фотографии с 12 MП иногда выходят даже с лучшей детализацией (и меньше весят, а это двойная выгода!).
Когда алгоритм демозаики применяется к исходным данным при 48 МП, может получиться более четкое изображение, но в случае с разными аппаратами и разными сюжетами результат будет различаться. И если для конкретного снимка критически важна передача деталей, лучше фотографировать в обоих режимах, а потом выбирать лучший снимок. И большую часть времени все же стоит придерживаться режима 12 МП.
Мы не говорим уже о том, что считывать полноценное 48 МП изображение было за пределами возможностей некоторых ранних сенсоров и чипсетов, так что они просто брали 12 МП изображение и увеличивали его – что было пустой тратой свободного места.
Одно из наиболее часто упоминаемых преимуществ сенсоров с четверным фильтром Байера – это лучший зум. При том, что в Nokia 808 PureView был впечатляющий зум, его огромные 41 МП сенсоры имели обычный фильтр Байера. Как уже обсуждалось, четверной фильтр Байера может дать лишь небольшой выигрыш в резкости (а может и нет), так что в реальности нет разницы с цифровым зумом на 12 МП сенсорах.
Отделы маркетинга трудятся изо всех сил, чтобы вы поверили, что в вашем смартфоне сенсор как у Hasselblad, а на самом деле четверной фильтр Байера – всего лишь умный (и эффективный) способ повысить качество 12 МП снимков.
А также имеет значение оптика. Не вдаваясь в детали, такие камеры с высоким разрешением часто имеют ограничение по дифракции – это означает, что самая малая точка света не может быть сфокусирована на участке меньше, чем пиксель. Почитайте про диск Эйри. В целом, существует физическое ограничение для максимального разрешения, которое могут иметь компактная оптика и сенсоры.
Фильтр Байера
Массив элементов фильтра Байера
Массив фильтра состоит из 25 % красных элементов, 25 % синих и 50 % зелёных элементов. По этой причине его часто называют GRGB или RGBG.
Содержание
Принцип работы
Принцип действия элементов массива Байера
Фотосенсоры формируют изображение из предметных точек, каждая из которых проецируется на «цветные» фотодиоды пиксели ячеек фотосенсора. Т.к. пиксели ячеек накрыты фильтрами RGB, то каждая предметная точка попадает на пиксель с потерей 2/3 цветового спектра цветов (красного, зелёного и синего) и в итоге получаем, что для получения аналоговой точки на фотосенсоре требуется информация трех рядом расположенных предметных точек (если ячейка из трех пикселей RGB) (Т.н. цветовая модель) RGB. Обычно ячейки фильтра Байера содержат четыре «цветных» фотодиода. Откуда следует, что каждая ячейка матрицы воспринимает только 1/3 часть спектра предметной точки и для получения остальных 2/3 цветов предметной точки участвуют две рядом расположенные ячейки, в каждой из которых находятся по 1/3 недостающего цвета. Т.е. получается, что в формировании цветного изображения каждой предметной точки участвуют три ячейки фотосенсора с потерями 2/3 цветового потока в каждой.
2/3 недостающих цветов рассчитываются процессором камеры на основании данных, полученных из соседних предметных точек объекта и соседних ячеек фотосенсора (несущих информацию недостающих цветов соседних предметных точек). В результате ( интерполяции по алгоритму demosaicing ) формируются цвета с восстановленной цветовой яркостью. (Не идентичной объекту). [2]
В классическом фильтре Байера применяются светофильтры трёх основных цветов в следующем порядке:
Дебайеризация
Альтернативы, достоинства, недостатки
Другое расположение светофильтров
Также иногда применяются CYGM-фильтры :
Матрицы с фильтрами RGBW:
| RGBW #1 
| RGBW #2 
| RGBW #3
Фильтры RGBW в нормальных условиях панхроматического освещения дают бо́льшую светочувствительность, но худшую цветопередачу. На освещении, близком к монохроматическому, RGBW превосходит по всем параметрам сенсороы с RGB-фильтрами.
Альтернативы фильтру Байера
Трёхматричная система
Многослойные фотосенсоры
Пример применения метода Байера
Сфотографируем исходный объект (для наглядности его часть увеличена):
При этом получаются три цветовые составляющие:
Таким образом, мы получили изображение, каждый пиксель которого содержит только одну цветовую составляющую одной из предметных точек (1/3 аналогового сигнала), спроектированных на него объективом. И только 4 предметных точек, рядом расположенных и спроектированных объективом на блок пикселей RGGB, приближенно формируют полный набор RGB 1-й усредненной предметной точки. Далее, процессор камеры должен, используя специальные математические методы интерполяции, рассчитать для каждой точки недостающие цветовые составляющие. В результате получается следующее изображение:
Как видно на картинке, это изображение получилось более размытым, чем исходное. Такой эффект связан с потерей части информации в результате работы фильтра Байера. Для исправления процессор фотоаппарата должен повысить чёткость изображения. Процесс искусственного повышения чёткости называется Sharpening. Дополнительно, в этот момент процессор может применить и другие операции: изменить контрастность, яркость, подавлять цифровой шум и т. д. в зависимости от модели аппарата. Получение более четких изображений в первую очередь достигается увеличением количества пикселей сенсора, что уменьшает размытость его. Так как вычислительная мощность процессора фотоаппарата ограничена, многие фотографы предпочитают делать эти операции вручную на персональном компьютере. Чем дешевле фотоаппарат, тем меньше возможностей повлиять на эти функции. В профессиональных фотокамерах они отсутствуют совсем, либо их можно выключить.
В основном модели профессиональных и полупрофессиональных цифровых фотоаппаратов позволяют фиксировать оптическое изображение в т. н. «сыром» RAW-формате, где изображение записывается в виде сигналов яркости в каждом диоде (пикселе), то есть в черно-белом виде, не неся никакой цветовой формы, и в файл записываются данные, полученные напрямую с матрицы, которые после АЦП формируют изображение в любом виде на компьютере, обладающем намного большей вычислительной мощностью и возможностями ручного управления параметрами преобразований. В любом случае после АЦП получить аналоговое или аналогичное изображение не возможно в силу потери 2/3 аналогового сигнала каждой предметной точки до и после АЦП. [5]
Фильтр Байера
Массив элементов фильтра Байера
Массив фильтра состоит из 25 % красных элементов, 25 % синих и 50 % зелёных элементов. По этой причине его часто называют GRGB или RGBG.
Содержание
Принцип работы
Принцип действия элементов массива Байера
Фотосенсоры формируют изображение из предметных точек, каждая из которых проецируется на «цветные» фотодиоды пиксели ячеек фотосенсора. Т.к. пиксели ячеек накрыты фильтрами RGB, то каждая предметная точка попадает на пиксель с потерей 2/3 цветового спектра цветов (красного, зелёного и синего) и в итоге получаем, что для получения аналоговой точки на фотосенсоре требуется информация трех рядом расположенных предметных точек (если ячейка из трех пикселей RGB) (Т.н. цветовая модель) RGB. Обычно ячейки фильтра Байера содержат четыре «цветных» фотодиода. Откуда следует, что каждая ячейка матрицы воспринимает только 1/3 часть спектра предметной точки и для получения остальных 2/3 цветов предметной точки участвуют две рядом расположенные ячейки, в каждой из которых находятся по 1/3 недостающего цвета. Т.е. получается, что в формировании цветного изображения каждой предметной точки участвуют три ячейки фотосенсора с потерями 2/3 цветового потока в каждой.
2/3 недостающих цветов рассчитываются процессором камеры на основании данных, полученных из соседних предметных точек объекта и соседних ячеек фотосенсора (несущих информацию недостающих цветов соседних предметных точек). В результате ( интерполяции по алгоритму demosaicing ) формируются цвета с восстановленной цветовой яркостью. (Не идентичной объекту). [2]
В классическом фильтре Байера применяются светофильтры трёх основных цветов в следующем порядке:
Дебайеризация
Альтернативы, достоинства, недостатки
Другое расположение светофильтров
Также иногда применяются CYGM-фильтры :
Матрицы с фильтрами RGBW:
| RGBW #1 | RGBW #2 | RGBW #3
Фильтры RGBW в нормальных условиях панхроматического освещения дают бо́льшую светочувствительность, но худшую цветопередачу. На освещении, близком к монохроматическому, RGBW превосходит по всем параметрам сенсороы с RGB-фильтрами.
Альтернативы фильтру Байера
Трёхматричная система
Многослойные фотосенсоры
Пример применения метода Байера
Сфотографируем исходный объект (для наглядности его часть увеличена):
При этом получаются три цветовые составляющие:
Таким образом, мы получили изображение, каждый пиксель которого содержит только одну цветовую составляющую одной из предметных точек (1/3 аналогового сигнала), спроектированных на него объективом. И только 4 предметных точек, рядом расположенных и спроектированных объективом на блок пикселей RGGB, приближенно формируют полный набор RGB 1-й усредненной предметной точки. Далее, процессор камеры должен, используя специальные математические методы интерполяции, рассчитать для каждой точки недостающие цветовые составляющие. В результате получается следующее изображение:
Как видно на картинке, это изображение получилось более размытым, чем исходное. Такой эффект связан с потерей части информации в результате работы фильтра Байера. Для исправления процессор фотоаппарата должен повысить чёткость изображения. Процесс искусственного повышения чёткости называется Sharpening. Дополнительно, в этот момент процессор может применить и другие операции: изменить контрастность, яркость, подавлять цифровой шум и т. д. в зависимости от модели аппарата. Получение более четких изображений в первую очередь достигается увеличением количества пикселей сенсора, что уменьшает размытость его. Так как вычислительная мощность процессора фотоаппарата ограничена, многие фотографы предпочитают делать эти операции вручную на персональном компьютере. Чем дешевле фотоаппарат, тем меньше возможностей повлиять на эти функции. В профессиональных фотокамерах они отсутствуют совсем, либо их можно выключить.
В основном модели профессиональных и полупрофессиональных цифровых фотоаппаратов позволяют фиксировать оптическое изображение в т. н. «сыром» RAW-формате, где изображение записывается в виде сигналов яркости в каждом диоде (пикселе), то есть в черно-белом виде, не неся никакой цветовой формы, и в файл записываются данные, полученные напрямую с матрицы, которые после АЦП формируют изображение в любом виде на компьютере, обладающем намного большей вычислительной мощностью и возможностями ручного управления параметрами преобразований. В любом случае после АЦП получить аналоговое или аналогичное изображение не возможно в силу потери 2/3 аналогового сигнала каждой предметной точки до и после АЦП. [5]