Света много не бывает

[apximhd]

Света много не бывает

(опыт борьбы с шумами цифровой матрицы)

Изучая способы уменьшения шума цифровой матрицы, я натолкнулся на утверждение, что светочувствительность матриц большинства портативных фотоаппаратов на самом деле не изменяется при изменении установки ISO в настройках камеры. Изменяется лишь способ обработки полученного с матрицы изображения. Для прояснения этого вопроса я провёл несколько экспериментов с моей камерой Panasonic LUMIX DMC FZ8.
Сначала я сделал два тестовых снимка в ручном режиме с сохранением результата в формат RAW. Оба снимка сделаны при искусственном освещении с одной и той же экспозицией (F/2.8, 1/20 с), но с разными установками ISO в настройках камеры. В первом случае ISO было установлено согласно рекомендации фотоэкспонометра — 800, второй раз я установил ISO 100.
Затем при конвертации RAW в JPEG я первый снимок конвертировал с установками по умолчанию, а при конвертации второго снимка установил в RAW-конвертере значение экспозиции +3 (3 ступени соответствуют увеличению экспозиции в 8 раз — как раз разница между установленными значениями ISO.
Вот результаты.

Левый снимок — ISO 800, сконвертированный «как есть».
Правый снимок — ISO 100, сконвертированный с коррекцией экспозиции на +3 ступени.
Найдите 10 отличий… Для особо дотошных привожу два 100% кропа этих снимков для оценки уровня шумов.

Получается, что, снимая в RAW, нет никакой разницы, какое значение ISO выставлять на камере. Уровень шумов определяется только и исключительно экспозицией — количеством света, попавшим на матрицу. Реально матрица всегда работает в одном и том же режиме, а ISO действительно получается как результат последующей обработки считанного с матрицы изображения. Причём, в случае моей камеры даже не меняется усиление сигнала с матрицы в электрической цепи, производится только программная обработка!
Раз такое дело, давайте исследуем границы светочувствительности матрицы и посмотрим, что можно выжать из неё при помощи описанной техники обработки. Поскольку в RAW-конвертере можно увеличивать или уменьшать экспозицию не более, чем на 4 ступени (в 16 раз), поступим следующим образом. Допустим, нам нужно получить от нашего «Лумикса» светочувствительность в 3200 единиц. Этого можно добиться, выставив в настройках камеры ISO 800, и установив при конвертации RAW коррекцию экспозиции на +2 ступени.
Экспонометр говорит, что для чувствительности ISO 3200 правильная экспозиция при съёмке составит (F/2.8, 1/80 с). То есть, я устанавливаю на камере чувствительность ISO 800, а экспозицию выставляю такую, как если бы я снимал на матрицу с чувствительностью ISO 3200, и затем в RAW-конвертере выставляю экспозицию в +2 ступени. Вот результат:

Левый снимок — ресайз, правый — 100% кроп.
Сразу возникает вопрос: а до какого уровня освещённости можно ещё что-то вытянуть из лумиксовской матрицы? Следующий снимок сделан с экспозицией (F/2.8, 1/320 с). Другими словами, я установил на камере чувствительность ISO 800, а снимал с такой экспозицией, какая бы понадобилась, если бы чувствительность матрицы составляла ISO 12800. Затем в RAW-конвертере я выставил экспозицию в +4 ступени. Результат, конечно, удручающий, но всё же на нём что-то ещё видно:

Общий вывод такой: по крайней мере, на +2 ступени штатное максимальное значение ISO в установках камеры повысить при конвертации RAW. Для моего Panasonic LUMIX DMC FZ8 это означает, что я могу в исключительных случаях снимать им как имеющим чувствительность в 3200 ISO (максимальное «штатное» ISO, которое позволяет установить мой Лумикс — 1200).
Проведя аналогичные тесты для своих камер (если они позволяют сохранять снимки в RAW), вы узнаете границы их применимости при различных уровнях освещённости.

И тут они сказали: «Ага!»

Раз на уровень шумов влияет исключительно количество света, попадающего на матрицу, то нельзя ли воспользоваться этим фактом и реально уменьшить шумы, когда света достаточно, путём переэкспонирования снимка и последующего уменьшения экспозиции в RAW-конвертере? Оказывается, можно, и шумы при этом реально уменьшаются. Только следует помнить, что RAW-формат хранит 12-разрядное представление яркости, а JPEG— восьмиразрядное. Это значит, что реально без потери качества мы можем двинуться в сторону передержки или в сторону недодержки не более, чем на 2 ступени.
Для иллюстрации способа уменьшения шумов путём переэкспонирования снимка, я сделал два снимка. Первый снимок я сделал с установленной чувствительностью ISO 100 и соответствующей этой чувствительности экспозицией (F/2.8, 1/6 с).
Второй же снимок я сделал следующим образом: установил на камере чувствительность ISO 100, а экспозицию выставил такую, какая бы потребовалась, если бы чувствительность составляла ISO 32 — (F/2.8, 1/2 c), затем в RAW-конвертере я уменьшил экспозицию на 1.6 ступени (в три раза).
Вот результаты:

Слева — снимок, сделанный с корректной для ISO 100 экспозицией (F/2.8, 1/6 с)
Справа — снимок, переэкспонированный на 1.6 ступени снимок (F/2.8, 1/2 с) с последующим уменьшением экспозиции на 1.6 ступени в RAW-конвертере.
Для оценки уровня шумов привожу два соответствующих 100% кропа:

Слева — штатный режим, справа — пересвет с последующей коррекцией в RAW-конвертере.
На кропах видно, что уровень шумов действительно уменьшается при увеличении экспозиции, и при этом он никак не зависит от значения ISO, установленного в настройках камеры.
Другими словами, для каждой конкретной матрицы работает только одно правило: больше света — меньше шума, а всё прочее не имеет никакого значения. Когда света много, можно уменьшить шумы, делая пересвеченный (но не более, чем на 2 ступени!) кадр, и затем корректируя экспозицию в RAW-конвертере. Когда света мало — вас ничего не спасёт от шумов, но если очень нужно снять кадр с более короткой выдержкой, то в принципе, можно пойти на двухкратную недодержку с последующей коррекцией экспозиции в RAW-конвертере.
Ну и разумеется, записывать снимки нужно во всех случаях в RAW-формате.

Comments

[periskop.livejournal.com]

Интересная информация. Надо переварить, и может быть, смогук использовать в ночной сьемке :)

[al-pas.livejournal.com]

Уже после написания поста моё внимание обратили на две публикации skoblov, посвящённых той же теме:
Трактат об экспозиции в цифровой фотографии (и в HDR) с точки зрения программиста (http://skoblov.livejournal.com/74817.html) и Влияние ETTR на низкоконтрастные сюжеты (http://skoblov.livejournal.com/76291.html), настоятельно рекомендуемый мной к прочтению!

Amicus!

[barmaroz.livejournal.com]

Десять отличий на первых кропах я вижу - да и ты, думаю, тоже: у тебя, вроде, матрица неплохая.
Дальше интересно, но, главное, надо не забывать про широту. При слабом освещении часто большой контраст тени и источников света - вольно тебе мягко освещённую комнату снимать :)
Но - спасибо, ещё одно обоснование делать вилку, да и потестить матрицу и алгоритмы тоже интересно.

Re: Amicus!

[al-pas.livejournal.com]

А что широта? Я в посте об этом и пишу: глубина JPEGа — 8 бит, глубина RAWа — 12 бит. Две ступени в каждую сторону у тебя в любом случае есть; для моего «Лумикса» это означает расширение диапазона ISO с 100-800 до 25-3200.

Широка страна моя

[barmaroz.livejournal.com]

Широта реального мира. 8 бит - это весьма немного. Это же в некотором смысле честные биты, без сжатия (конечно, вопрос о наклоне прямой остаётся открытым).
Реально довольно часто не хватает и расширенных бит raw, либо тени, либо света уходят.

Re: Amicus!

[skoblov.livejournal.com]

Тут у Вас, кстати, тоже ошибка.

Глубина JPEGа самого по себе - 11.7 "бит" (т.е стопов)

Да, и с расширением в "обе стороны" все тоже непросто

Re: Amicus!

[al-pas.livejournal.com]

В данном случае речь идёт о восьмибитном и двенадцатибитном представлении изображения.

Re: Amicus!

[skoblov.livejournal.com]

Я понимаю

Но их нельзя сравнивать по битам.

Диапазон 12-битного RAW - 2^12, 8-битного JPEG - 2^11.7

Re: Amicus!

[al-pas.livejournal.com]

Уже после написания поста моё внимание обратили на две публикации skoblov, посвящённых той же теме:
Трактат об экспозиции в цифровой фотографии (и в HDR) с точки зрения программиста (http://skoblov.livejournal.com/74817.html) и Влияние ETTR на низкоконтрастные сюжеты (http://skoblov.livejournal.com/76291.html), настоятельно рекомендуемый мной к прочтению!

Danke

[barmaroz.livejournal.com]

Очень интересно.

[skoblov.livejournal.com]

Раз уж Вы на меня сослались, прокомментирую :)

Ваши выводы верны только для мыльниц с мелкими матрицами. Для цифрозеркалок ISO до 800 - точно "честные", выше - зависит от модели.

У Вас, думаю, все-таки ISO 200 должно быть хоть как-о небесполезным. Попробуйте сравнить ISO 100 и 200 так:

снимите 2 кадра с одной экспозицией на ISO 100 и 200, да недодержите 2 стопа. Потом высветлите их до одинакового результата и посмотрите на детали в тенях. газетку какую-нибудь сфотографируйте :)

[skoblov.livejournal.com]

"точно честные" следует читать как "относительно честные"

:)

Т.е. при увеличении ISO в 2 раза, ДД падает менее чем в 2 раза

[al-pas.livejournal.com]

Для ПЗС (CCD) матриц «честное» значение ISO может быть только одно, определяемое размером и конструкцией матрицы. Количество накопленных в потенциальной яме электронов определяется только экспозицией и конструкцией матрицы и изменить его невозможно. Точнее, возможно, но только в сторону уменьшения ISO и как следствие — снижения динамического диапазона, чем ни один производитель в здравом уме заниматься, скорее всего, не станет.

Судите сами, у матрицы есть фиксированная конструктивно определяемая квантовая эффективность. Если, условно говоря, 100 упавших на ячейку фотонов приводят к появлению в потенциальной яме 60 электронов, то всё, к чему можно стремиться, это к приближению этого числа к 100, но получить из 100 фотонов 101 электрон невозможно никакими ухищрениями, не говоря уже о 200 или 800.

[skoblov.livejournal.com]

Человека, претендующего на звание "Физик-зануда" прощу только если Вы сами ошибку в своих рассуждениях найдете. Все, что необходим для правильного вывода - Вы знаете. Подсказку "мыльница с мелкой матрицей против DSLR" я сделал

:)

[al-pas.livejournal.com]

Я повторю первое предложение: «Для ПЗС (CCD) матриц «честное» значение ISO может быть только одно, определяемое размером и конструкцией матрицы».

Если у вас есть более серьёзные, нежели эмоциональные, возражения, я их внимательно выслушаю и либо признаю свою ошибку, либо приведу контраргументы.

[skoblov.livejournal.com]

По-моему, я предложил подумать и найти ошибку в рассуждениях

:)

[al-pas.livejournal.com]

Я, кажется, понял свою ошибку. Мне, похоже, необходимо учиться у Карла Маркса повторять свою мысль по пять раз, чтобы донести её до любого читателя.

Вы восприняли числа 200 и 800 как значения ISO. На самом деле это количество электронов. К ISO эти числа не имеют никакого отношения. Мне следовало по-другому сформулировать пример:

«Если, условно говоря, 13 упавших на ячейку фотонов приводят к появлению в потенциальной яме 8 электронов, то всё, к чему можно стремиться, это к приближению этого числа к 13, но получить из 13 фотонов 14 электронов невозможно никакими ухищрениями, не говоря уже о 22 или 47».

[skoblov.livejournal.com]

Вторая попытка :)

[al-pas.livejournal.com]

Я не телепат, и не знаю, что вы считаете ошибкой, и гадать не собираюсь. Если вам есть, что сказать, скажите, если нет — прошу прощения, что побеспокоил.

[skoblov.livejournal.com]

Рассмотрите схему, в которой стоят:

фотоэлемент, превращающий фотоны в электроны и накапливающий их внутри за время экспозиции (конденсатор). Емкость конденсатора - 10000 электронов у мыльницы, 30-50-100 тысяч - у DSLR

далее стоит усилитель ("аппаратное ISO"), далее - 12-14 битный АЦП

[al-pas.livejournal.com]

Некорректная аналогия. Если вы хотите сказать, что реальное ISO у крупных матриц больше чем у мелких, то с этим никто не спорит. Только связано это не с «ёмкостью конденсатора», а с размером сенсора. При одной и той же экспозиции сенсор APS матрицы поймает в десять раз больше фотонов, чем сенсор мыльничной матрицы. А вместимость потенциальной ямы у всех матриц примерно одинакова и отличается не более, чем в 2-3 раза. Просто при одной и той же экспозиции в мыльничной матрице накопится 5000 электронов, а в APS — 50000. Отсюда и отличие по шумовым характеристикам.

[skoblov.livejournal.com]

Какая аналогия, я Вам схему цифровой камеры описал словами :)

Никакого "реального ISO" нет, забудьте. Есть цифра ISO в параметрах съемки. Ее изменение влияет либо на усилитель ("аппаратное ISO"), либо на умножитель в софте ("програмное ISO")

Итак, рассмотрите наш фотоэлемент, который умеет накапливать, например, 60000 электронов максимум. Что такое "базовое ISO" (оыбчно ISO 100) - это такое значение усиления на усилителе, при котором максимальный заряд коденсатора соответствует максимальному отсчету АЦП (или близок к нему - тут уже как камера устроена, может быть и чуть больше, и чуть меньше).

Если у нас АЦП 12-битный, то максимальный отсчет АЦП равен 4095, т.е. на ISO 100 одному электрону из пикселя соответствует примерно 1/15 отсчета АЦП (АЦП линейный). А 1 на выходе АЦП соответствует аж 15 электронов.

на ISO 200 значение усиления увеличивается в 2 раза. Т.е. 1 у АЦП соотвествуют 8 электронов. На ISO 400 - 4 электрона. На ISO 800 - 2 электрона. На ISO 1600 - 1 электрон. И вот далее усиливать сигнал, действительно, бесполезно (хотя на самом деле не совсем бесполезно, но это - отдельная песня). Правда к этому добавляются еще шумы в аналоговой части и картинка усложняется.

А теперь посмотрите на матрицу с пикселем, имеющим емкость порядка 10 000. Дальше ISO 200 ловить нечего. Что Вы и заметили.

[al-pas.livejournal.com]

"Реальное ISO" есть. Оно определяется стандартом ISO 12232:2006. В этом стандарте определены четыре варианта определения светочувствительности матрицы: два из них базируются на степени насыщения элемента и два на достижении определённых шумовых характеристик. Последние два определяются только двумя параметрами: квантовой эффективностью матрицы и плотностью пикселов (разумеется, если не учитывать собственных шумов матрицы и электроники камеры, которые дополнительно снизят "реальное" ISO).
Решающую же роль в принципиальном ограничении на величину ISO играют квантовые свойства света.
Для полноразмерной матрицы Canon EOS 5D Mark III, если считать матрицу идеальной, то есть вообще не имеющей собственных шумов, реальная "честная" светочувствительность составляет ISO 800.
Для мыльничной матрицы 1/2 (6 x 4.5 мм, 7 Мп) это значение будет в десять раз меньше: ISO 80.

[skoblov.livejournal.com]

У Вас нет случайно текста стандарта, буду очень благодарен за цитаты из него про определение светочувствительности МАТРИЦЫ безотносительно имеющейся у нее регулировки чувствительности :) (усилитель перед АЦП)

Я, если честно, впервые слышу про какую-либо стандартизацию "реального ISO", и попытки его определить.

Имеющийся онлайн "пересказ" стандарта (википедия (http://en.wikipedia.org/wiki/Film_speed#The_ISO_12232:2006_standard)), говорит, что определение чувствительности производится для sRGB данных, полученых уже после RAW-конвертора (и при определенном значении "аппаратного ISO" в усилителе). Зачем нужна такая стандартизация - понятно, для экспонометрии.

[al-pas.livejournal.com]

Текста стандарта у меня нет. Он есть в бумажном виде в библиотеке обсерватории в Туорле, я там буду в мае, смогу отсканировать.

В статье Википедии отсутствует одно важное определение, а именно определение Noise-based speed. Оно аналогично определению Standard output sensitivity S = 10/Н, где H — экспозиция (в люкс-секундах), при которой достигается соотношение сигнал/шум либо 10:1, либо 40:1.

Noise-based speed не зависит от способа оцифровки сигнала и может характеризовать чувствительность матрицы наиболее объективно.

Я напишу об этом отдельный пост, сейчас же обращу внимание на следующее.
Даже в отсутствие аппаратных шумов и идеальном преобразовании в цифру — хоть в миллион разрядов — существует принципиальное ограничение по чувствительности, определяемой на основании соотношения сигнал/шум, причём это ограничение задаётся только геометрией матрицы.

Некогерентные фотоны, из которых состоит 99,99% всех фотографических сюжетов, подчиняются распределению Пуассона, при котором отношение сигнал/шум численно равно стандартному отклонению, которое, в свою очередь, равно квадратному корню из среднего количества фотонов, падающих на один пиксел за время экспозиции. Например, для достижения отношения сигнал/шум 40:1 на каждый пиксел за время экспозиции должно в среднем упасть не менее 1600 фотонов. Для достижения отношения сигнал/шум 10:1 на каждый пиксел за время экспозиции должно в среднем упасть не менее 100 фотонов.

Для монохроматического света с длиной волны 555 нм экспозиция в 1 люкс-секунду соответствует 4.0957*10^11 фотонам на квадратный сантиметр.

Плотность пикселов матрицы Canon EOS 5D Mark III составляет 2.71 Мп/см^2, тогда 1600 фотонов на пиксел будут соответствовать экспозиции 0.01058 люкс-секунд. Откуда светочувствительность S = 10/0.01508 = 945.

Значит, по этому определению максимальная теоретически возможная чувствительность матрицы Canon EOS 5D Mark III составляет 945 ISO. Эта величина зависит только от поверхностной плотности пикселов (в предположении, что пикселы покрывают всю площадь без зазоров, собственных шумов у матрицы нет и квантовая эффективность матрицы равна единице). И большего значения появиться не может никак, потому что у нас просто нет больше фотонов. В реальности эта «истинная» чувствительность будет несколько меньше из-за собственных шумов матрицы и электроники и не 100%-ной квантовой эффективности.

[skoblov.livejournal.com]

если отсканируете - будет прекрасно. Его нет в открытом доступе, платить 160 баков чисто за удовлетворение любопытства - смешно, а иногда попадаются ссылки на него.

Спасибо за теор. часть разъяснения о природе "квантового шума, равного корню из сигнала". Этот факт я знал, но причину - нет. Надо куда-нибудь сохранить на память.

Про вики - вроде у них в последнем абзаце написано:

The two noise-based techniques have rarely been used for consumer digital still cameras. These techniques specify the highest EI that can be used while still providing either an “excellent” picture or a “usable” picture depending on the technique chosen.

Суть мне понятна по другим источникам, но вот пример рассчета пригодится.


> Значит, по этому определению максимальная теоретически возможная чувствительность матрицы Canon EOS 5D Mark III составляет 945 ISO.

вот против термина "максимальная реальная (т.е. не софтовые маркетингоужимки) чувствительность" возражений нет.

С этой оценкой глупо спорить. Посмотрите, что я сказал сразу, в первом замечании:

"Ваши выводы верны только для мыльниц с мелкими матрицами. Для цифрозеркалок ISO до 800 - точно "честные", выше - зависит от модели."

[skoblov.livejournal.com]

Ну и, отвлекаясь от темы ISO, рассмотрите матрицу с насыщением порядка 60000 электронов, 4 объекта, дающих при равной экспозиции заряд в пикселе равный
2, 6, 20 и 55000 электронов, и что будет на выходе 12-битного АЦП при ISO 100 (15 электрон на отсчет), ISO 200 (8 электрон), ISO 400, ISO 800

:)

[skoblov.livejournal.com]

а можно еще короче все описать:

У вашей камеры размер пикселя в 60 раз меньше, чем у EOS 5d, у которой тоже АЦП 12-битный. Поэтому от равного источника света в ее пиксель попадет в 60 раз меньше фотонов, и накопится в 60 раз меньше электронов.

Там, где у Вас стоит вопрос об 1 электроне, у 5d будет вопрос о 60 электронах

:)

меньше мпих - лучше?

[al-kur.livejournal.com]

правильно ли я понял из ваших разъяснений,
что старые камеры имеют (скажем, 3мп) более чувствительную
матрицу (за счет более крупного пиксела)?
Опыт пользователя мыльниц заставляет это подозревать.
но простые мыльницы не отдают RAW.

Re: меньше мпих - лучше?

[al-pas.livejournal.com]

С определёнными оговорками.
Во-первых, важно не общее количество пикселов, а физический размер одного пиксела. Так, 20-мпикс. матрица 24х36 мм будет иметь большую чувствительность, чем 1-мпикс. матрица 6х4.5.
Во-вторых, современные матрицы имеют квантовую эффективность, близкую к единице, чего нельзя сказать про старые матрицы.
То есть, об указанной закономерности можно говорить только, рассматривая матрицы примерно одного физического размера, выпущенные примерно в одно время.