Твердотільні сенсори зображення як виходить колір
«Класичні» ФПЗС та КМОП-сенсори [1]
Самі по собі вони не здатні розрізняти кольори: різниця в довжинах хвиль (а саме довжиною хвилі і визначається колір) фотонів, що падають на них, сприймається як різниця в енергіях (E
hv). Варіації як енергії фотона, так і їх числа за час експозиції призводять до зміни лише однієї величини — заряду в комірці ФПЗС або напруги для КМОП. Тому на виході маємо монохромне зображення, тобто градації сірого.
Для забезпечення сенсора можливості розрізняти кольори потрібні додаткові пристрої. А що таке «колір», взагалі кажучи? У фізиці світла має спектр — набір довжин хвиль випромінювання. Цим спектром однозначно визначається колір – психофізіологічне відчуття. Зворотне твердження, до речі, неправильне — кілька різних спектрів можуть давати те саме відчуття кольору.
Оскільки з точки зору колориметрії колір - тривимірна векторна величина, то потрібно якимось чином виділити з падаючого на сенсор світлового потоку три [2] складових. Можливість тривимірного опису кольору [3] пояснюється не фізичними властивостями самого світла, а механізмами сприйняття кольору ока.
Суть «класичного» сенсора: в одному пікселі за час експозиції ми можемо зробити лише один спектральний вимір (виключення див. нижче).
Нині існують такі підходи:
1. Розщеплювати світло після об'єктива (наприклад, системою призм) на три області — червону, зелену та синю, і подавати на три окремі монохромні сенсори.
Він забезпечує відмінну роздільну здатність як колірну, так і просторову («різкість») без збільшення часу отримання зображення. Час отриманнякадру, мабуть, щонайменше з усіх підходів, тому що немає необхідності виробляти колірну інтерполяцію (див. нижче). З'являється можливість «тюнінгу» кожного сенсора під свій діапазон, наприклад, введенням спеціальної домішки добавки в кремній змінити спектральну чутливість сенсора. Баланс білого на підсумковому зображенні зводиться до регулювання посилення та рівнів чорного кожного із трьох сенсорів.
Однак такий підхід вимагає складного юстування всієї системи і часто особливої оптики (через появу перед сенсором досить великого блоку призм). При цьому ширококутним об'єктивам не пощастило найбільше. Додайте сюди потрійний комплект сенсорів та їх електронного обв'язування. Усе це підвищує вартість, габарити системи та її енергоспоживання (особливо, якщо сенсори — ФПЗС).
Технологія виробництва ФПЗС-сенсорів відмінно налагоджена, так само як і пристроїв для розщеплення світла, тому за якістю і швидкістю підходу, що розглядається, поки немає рівних.
2. Встановити світлофільтри перед сенсором.
Якщо час отримання зображення не критичний, можна використовувати послідовне експонування сенсора через барабан зі світлофільтрами. Мінус - потрібно втричі більше часу. Тому для зйомки об'єктів, що рухаються, такий метод не підходить. Однак зберігаються всі інші плюси попереднього підходу, та й трьох матриць із призмою не потрібно.
3. Встановити світлофільтри безпосередньо над кожним пікселем сенсора.
Якщо в сенсорі використовуються мікролінзи [4], то світлофільтри встановлюються між мікролінзою та коміркою. Розподіл таких світлофільтрів на поверхні сенсора — масив кольорових фільтрів (CFA = Color Filter Array) може бути різним.
3.1. Наприклад, лінійний (використовується в деяких планшетнихсканерах — там лише три рядки для кожного з кольорів): R R R R R G G G G G B B B B B B
3.2. Найбільш популярний — байєрівський, за колірною моделлю Байєра (B. Bayer [5]), запропонованою на початку 70-х років минулого століття. Інакше – RGBG-фільтр. Усі масиви, побудовані за принципом Байєра, називають мозаїками.
Елементарний візерунок масиву виходить із чотирьох осередків із трьома типами світлофільтрів. В основі байєрівського фільтра і більшості інших лежить принцип дискретизації яркостного каналу на більшій частоті, ніж двох кольорових, що залишилися. За яркостной канал був прийнятий зелений, тому що крива чутливості ока людини має максимум близько точки 550 нм, що відповідає зеленому кольору. Та й число зеленочутливих рецепторів на сітківці вдвічі більше, ніж червоних чи синіх.
Виграш за швидкістю та вартістю варіанта з масивом кольорових фільтрів, «компенсується» програшем за просторовим і колірним дозволом. Дані одного пікселя підсумкового зображення «розмазуються» кількома осередками. Для того, щоб отримати значення RGB кожного пікселя необхідно зробити колірну інтерполяцію. ілюстрацію:
Найбільш помітні артефакти від такої інтерполяції кольорів з'являються при швидкій зміні кольору щодо просторових координат зображення (який контрастний, ритмічний малюнок в дрібних деталях) - виникають спотворення квітів і контурів, зникнення дрібних деталей, муар. Наприклад, у нашій сцені є невелика біла цятка на чорному тлі. Вона може потрапити тільки на один синій осередок. У такому випадку на зображенні вона буде представлена синім пікселем. Описаний ефект називається аліайсингом. Усунути його можна лише розмиттям зображення: за допомогою анти-аліайсинг фільтра аборозфокусування. Анти-аліайсинг фільтрація (по суті, розмиття на зразок blur-ефекту) додатково зменшує просторову роздільну здатність.
Тому сенсори з CFA для професійної техніки мало підходять, тому що сам сенсор не може забезпечити дозволу, який дає якісний об'єктив: у найгіршому варіанті один підсумковий піксель інтерполюється з 9 пікселів сенсора. Якщо ми збільшуватимемо кількість пікселів сенсора, зменшуючи їх розміри, то впораємося у власні шуми сенсора, а якщо збільшуючи розмір сенсора — в технологічний переділ розміру пластин або вартості системи.
3.3. Варіацією на тему фільтра Байєра є RGBE-фільтр від компанії Sony Corporation. Т. е. до RGB-світлофільтрів доданий Emerald - смарагдовий. Теоретично, четвертий компонент визначення кольору вже зайвий. Однак на практиці він трохи наближає колірну гаму зображення до натуральної (для людського ока), покращуючи передачу синьо-зелених та червоних відтінків. Взагалі кажучи, смарагдовий світлофільтр пропускає всю короткохвильову частину видимого спектру, тому правильніше було б його назвати блакитним.
3.4. Вище були розглянуті мозаїки в основу яких покладено модель адитивного синтезу кольору (RGB), проте випускаються сенсори з мозаїками на основі субстрактивного синтезу (CYM=Cyan Yellow Magenta). Ті ж панове з Sony випускають матриці з CYMG-фільтром. Основні компоненти в ньому - CYM (блакитний, жовтий, пурпуровий) та один, додатковий, адитивний - G (зелений). На мій погляд, дуже спірне рішення. Тим більше що типова проблема сенсорів з такою мозаїкою — реєстрація світла з довгою хвилі 450 нм у синьому і червоному каналі.
Короткий підсумок: при однакових числах пікселів та їх розмірі у сенсора з масивом кольоровихсвітлофільтрів просторова роздільна здатність приблизно в 2 рази нижче, ніж у монохромного. Якщо бути точним, то величина ця залежить від методу інтерполяції, типу мозаїки та напряму: для фільтра Байєра по горизонталі зниження роздільної здатності становить близько 65%, а по вертикалі приблизно 80%.
У міру зростання обчислювальної потужності графічних процесорів фотокамер лінійна інтерполяція замінювалася на кубічну, а та — на кубічні сплайни. У багатьох сучасних камерах перевага надається спеціальним алгоритмам, оптимізованим під роботу з кольором та під конкретний сенсор. Звичайно ці алгоритми є комерційною таємницею фірм-виробників. Наприклад, існують: <інтерполяція з постійним тоном (одна з перших у масових зразках камер); - інтерполяція за медіаною (двопрохідна: лінійна інтерполяція, медіанна фільтрація колірних відмінностей); - інтерполяція по градієнту (трипрохідна: спочатку G, а потім R-G і B-G канали; використовується в Kodak DCS 200). Всі ці алгоритми спрямовані на усунення артефактів: «драбинки» — на краях контрастних об'єктів та «конфетті» навколо яскравих пікселів на темному тлі.
Кращими є ітераційні (багатопрохідні) алгоритми та алгоритми на основі нейронних мереж, але вони вимагають великої обчислювальної потужності і поки що реалізовані повною мірою тільки в програмних RAW-конверторах (наприклад, SharpRaw).
4. Використання технології піксельного зсуву сенсора.
Даний підхід полягає у використанні «звичайного» сенсора з фільтром Байєра, з механізмом попіксельного зсуву в площині зображення за допомогою п'єзо-елементів. Знімаємо один кадр, зсуваємо сенсор праворуч на один піксель, знімаємо другий кадр, зрушуємо сенсор вниз на один піксель. Таким чином у трьох кадрах маємо всі три кольоровіскладових індивідуально кожному за пікселя. Див. анімацію (зверніть увагу, як виділений піксель у лівому верхньому кутку послідовно отримує всі три колірні компоненти):
Мінус – збільшений утричі час експозиції та вартість пристрою. Звичайно, для зйомки репортажу така технологія не підходить. Тому застосовується переважно у цифрових задниках для студійної зйомки, де можна забезпечити нерухомість сцени зйомки на час близько 1-2 секунд.
Крім збільшення колірного, збільшується і просторова роздільна здатність. Обидва приблизно в 2,5 рази в порівнянні з таким самим сенсором, але без зсуву.
Приклад: цифрові задники FlexFrame 4040 від Imacon та Sinarback 44 HR від Sinar.
Досі ми говорили про класичні сенсори. Зараз варто розповісти про новий тип КМОП-сенсора від каліфорнійської компанії Foveon - Foveon X3 [6]. Сенсор був представлений широкому загалу на початку 2002 року.
В основу покладено ідею про поглинання фотонів різних довжин хвиль на різних глибинах у напівпровіднику. Це дає можливість для кожного пікселя сенсора отримувати власні RGB-компоненти, в одному пікселі поєднані детектори всіх трьох колірних компонент. Дуже витончена ідея: одним махом позбавляємося колірної інтерполяції, згладжування та різниці фаз між RGB-компонентами, властивих класичним сенсорам з CFA. Також не потрібно і трьох сенсорів разом із пристроєм розщеплення світла.
Експерименти [7] за стандартом ISO12233 [8] показують 2,4-кратну перевагу Foveon X3 у просторовій роздільній здатності над сенсорами з фільтром Байєра. А на межі розділу синій-червоний до 5 разів. Ми пам'ятаємо про те, що байєрівський фільтр містить синіх та червоних світлофільтрів у 2 рази менше, ніж зелених,звідси такий стрибок
Все ж таки не втримаюся і дам спрощену схему будови цього сенсора:
Як бачимо, ключовою особливістю є порядок та глибина залягання p-n-переходів. Коефіцієнт поглинання кремнію майже лінійно зменшується із збільшенням довжини повні світла видимого діапазону. Першими поглинаються "сині" фотони, потім "зелені" та "червоні".
Можна сказати, що перед нами «електронна фотоплівка», тому що з усіх сенсорів Foveon X3 найбільш близький до фотоплівки, яка також містить три чутливі шари для кожного з кольорів у вигляді «бутерброда».
Як камера, що використовує Foveon X3 можна відзначити Sigma SD9, SD10 і Polaroid x530 і ось поки що все. Ідея Foveon красива, але, мабуть, на практиці не все так гладко ... Охочих докладніше ознайомитися з цим типом сенсора прошу на сайт виробника. Альтернативний теоретичний погляд можна знайти у статті.
В даний час розробляється технологія TFA (Thin Film on ASIC). Комерційних зразків поки що немає, тож сказати щось остаточно не можна. TFA є інтеграцією шару детектора з аморфного гідрогенізованого кремнію (a-Si:H) на кристал ASIC (Application Specific Integrated Circuit, по-суті, КМОП-мікросхема).
Товщина шару детектора менше 1 мікрона і працює як мультиспектральний фотодіод. Пік спектральної чутливості може зрушуватися в межах видимого світла в залежності від напруги між p-і n-областями. Можна зчитувати три колірні складові послідовно (швидко змінюючи напругу). Крім цього a-Si:H володіє високим квантовим виходом і трьома лінійно-незалежними піками чутливості в зоні видимого світла. TFA є сенсором з коефіцієнтом заповнення 100%: вся поверхня єсвітлочутливою.
Можливо, в особі TFA-сенсорів ми скоро побачимо збільшення динамічного діапазону (для TFA заявлено 120dB, тоді як людське око має 200dB) та колірної роздільної здатності.