Специалистам рекомендуется не читать, им все и так понятно.
Долго я собирался с духом и готовил эту статью. Дело не в том, что тема сложная, как раз наоборот. Дело в том, что никак не мог придумать форму подачи материала. Почти все иллюстрации, которые хотелось представить – видео. Вот и ломал голову, как это сделать, где найти, как скачать.
Вот, пожаловался на сложности. Теперь к делу, только не судите строго за оформление, старался, как мог.
Натолкнула меня на мысль написания своей статьи другая статья (http://dvxuser.com/jason/CMOS-CCD/ ). Она посвящена различию камер на матрицах CCD и CMOS. Вы можете ее тоже почитать, правда она на английском. Но меня не это заставило задуматься, показалось, что не все аспекты описаны настолько подробно, чтобы это было понятно сразу и всем.
Уверен, практически все знают основы принципов работы матриц CCD (Charge Coupled Device, он же ПЗС – прибор с зарядовой связью) и CMOS (Complementary metal-oxide semiconductor, он же КМОП – комплементарные металл-окисел полупроводниковые транзисторы), однако, вкратце повторю.
На матрице CCD, кадр (правильнее – поле) получается одномоментно. То есть, в течение работы электронного затвора (1/50-1/100000 с), попадающий на матрицу свет создает заряды в полупроводниковой структуре. После этого, создание зарядов запрещается и происходит считывание накопленных зарядов из матрицы. Главное здесь – если снимаемый объект двигался в течение работы электронного затвора, он будет смазан, но полученное изображение никак не зависит от последующего сканирования матрицы.
В матрицах CMOS, падающий на матрицу свет воздействует на фотодиоды, а понятие электронного затвора напрямую связано со сканированием. Изображение получается по ходу сканирования пикселей матрицы. Скорость сканирования внутри строк не так заметна, она весьма высока, а вот скорость сканирования самих строк уже заметна и сильно влияет на конечное изображение. Это я и постараюсь пояснить с помощью созданных и полученных из Интернета иллюстраций.
На следующей странице приведен пример того, как формируется изображение в матрице CCD. Кликните на изображении и оно «как бы» проявится. Еще раз напомню, весь процесс занимает от 1/50 до 1/100000 секунды.
CCD: изображение формируется за время работы электронного затвора.
А теперь посмотрим на процесс формирования изображения в матрице CMOS.
CMOS: изображение формируется одновременно с процессом сканирования.
И здесь тоже формирование изображения занимает от 1/50 до 1/100000 секунды.
Такую работу электронного затвора в матрицах SMOS называют «Rolling Shutter», наиболее удачный, на мой взгляд, русский термин – «скользящий затвор». Скользящий затвор обуславливает множество различных эффектов, которые могут проявляться (а могут и не проявляться) на изображениях, полученных с камер, имеющих матрицу CMOS. К слову, сейчас Интернет пестрит роликами, снятыми Айфонами и другими смартфонами, на которых пользователи демонстрируют поразительные вещи. Предлагаю заняться web-серфингом вместе, но вы и сами можете «нарыть» кучу любопытного материала. Я, всего лишь, хотел бы призвать к тому, что к снятым роликам нужно относиться аккуратно. Полезно понимать, где показанные эффекты вызваны скользящим затвором, а где они являются следствием других физических законов.
Для начала повторим уже виденное, но с добавлением фрагмента, показывающего, что будет, если камеру двигать во время работы скользящего затвора. Не очень быстро, но и не очень медленно, в меру равномерно. Кликните на самом ролике, чтобы его увидеть. Здесь и далее, кликайте на роликах для их запуска, кликайте вне роликов для перехода к следующему слайду.
Если ролик не воспроизводится, вы можете посмотреть его по ссылке: http://www.youtube.com/watch?v=7TGKFdrY9aw&feature=related
Добавим для иллюстрации еще несколько фотографий. Надеюсь, комментарии к ним не нужны. Все, кроме нижней левой, сделаны камерой, находящейся в движении.
Видите, что получается? Это один из основных эффектов скользящего затвора – наклон вертикальных линий при наличии горизонтального движения. Причем, без разницы, что движется – объект или камера. Если постараться, можно найти еще немало роликов с аналогичными примерами. Мне понравился этот: http://www.youtube.com/watch?v=cOWQhDA3YA4&feature=related
Просто не удалось его вставить в презентацию, великоват размер. Кликните на ссылке и смотрите, если есть желание.
Владельцы смартфонов любят снимать пропеллеры самолетов. Одна из записей показалась мне весьма веселой. Взгляните.
Позволю себе заметить, здесь медленность вращения пропеллера обусловлена строб-эффектом, уверен, что все это понимают. А вот изгибание лопастей пропеллера – это, как раз, проявление особенностей скользящего затвора.
Если ролик не воспроизводится, вы можете посмотреть его по ссылке: http://www.youtube.com/watch?v=KPm0J5tCLAg&feature=fvwrel
Есть и более потрясающие ролики. Почему пропеллеры так выглядят на видео? Ответ на этот вопрос нам любезно предоставляет Интернет. Опять все очевидно, если знать особенности скользящего затвора. Мы столкнулись со случаем, когда скорость движения объекта превышает скорость затвора. Происходит наложение строб эффекта и эффекта построчного сканирования кадра скользящим затвором.
Если ролик не воспроизводится, вы можете посмотреть его по ссылке: http://www.youtube.com/watch?v=17PSgsRlO9Q&feature=related
А вот так может выглядеть стоп кадр работающего вентилятора.
Для другого проявления скользящего затвора я не нашел иллюстраций, ни роликов, ни фото. А заключается он в следующем.
Давайте представим себе типовую уличную камеру, следящую за дорожным движением, ту самую, которую так не любят автолюбители, ту самую, которая умеет считывать номера автомобилей. Стоит себе такая камера на дороге и на нее несутся автомобили. Шут с ним, с самим автомобилем. Как будет выглядеть номер на фото?
Понятно, за счет движения автомобиля, изображение номера будет вытянуто по вертикали, причем величина растяжения будет зависеть от скорости авто. Чем скорость выше, тем больше и растяжение. Но это еще не все. Нижняя часть номера будет заметно шире верхней части. Когда автомобиль был далеко, номер был маленьким, пока затвор скользил вниз, автомобиль подъехал на определенное расстояние и номер стал больше. Короче, номер будет выглядеть на стоп кадре так:
Каждый может сам для себя решить, каково программе распознавания номеров работать с трапециидальными буквами и цифрами. Если есть сомнения, предлагаю обратиться к известному специалисту по распознаванию номеров Михаилу Вадимовичу Руцкову. И это для случая, когда автомобиль движется «на камеру» или «от нее». Если камера расположена под углом к зоне наблюдения, ситуация может быть еще хуже. И еще раз: степень искажений зависит от скорости автомобиля, которую заранее предсказать практически невозможно, поэтому попытка сделать автоматическую коррекцию очень затруднена. Пока, Интернет рассказывает только о «выпрямлении» вертикальных линий на фотографиях, с помощью специальных программ.
Вот вам вторая особенность скользящего затвора.
Следующая особенность. Ее часто называют эффектом «желе» и он возникает, если камера (или наблюдаемый объект) вибрирует с частотой, которая выше скорости «скольжения» затвора. Классический пример – съемка с вертолета. Да уж, какие тут стоп кадры получатся? Но поделать ничего нельзя, скользящий затвор, принцип работы, физика процесса.
Если ролик не воспроизводится, вы можете посмотреть его по ссылке:http://www.ssontech.com/content/skool.mov
К слову говоря, в Интернете есть и ролики, которые «вроде бы» описывают особенности скользящего затвора. Например, есть много записей, как выглядят гитарные струны в движении:
Если ролик не открывается , кликните по ссылке: http://www.youtube.com/watch?v=3Pgc7NiEZxM&feature=related
По-моему, нет нужды говорить о том, что здесь львиная доля строб-эффекта, а влияние скользящего затвора даже трудно заметить.
Есть и другие примеры. После просмотра этого ролика http://www.youtube.com/watch?v=UEaDrS-yzIE , показывающего различие в изображении двух камер, установленных на одном мотоцикле, может пропасть всякое желание работать с матрицами CMOS. Однако, если присмотреться внимательно, то можно усомниться в подлинности записи, уж слишком сильны вибрации на изображение от CMOS. Хотя, автор ролика утверждает, что это правда, камеры стоят на одном штативе (комментарии к видео), но тогда стоит задуматься о достаточно редком случае, когда конкретная частота вибраций вызывает такой заметный эффект. Для подтверждения этой гипотезы достаточно еще «пошарить» в Интернете и посмотреть съемки аналогичных экспериментов.
Когда камеры устанавливаются на автомобиле, все выглядит не так удручающе. http://www.youtube.com/watch?v=-N4p6Osvf50&feature=related
Съемки с лодки или с электромобиля на гольф поле тоже не показывают такого кардинального различия, хотя оно есть. http://www.youtube.com/watch?v=fSWDP1Tsj1Y&feature=related
Предлагаю очевидный вывод – проявление эффекта «желе» очень сильно зависит от условий съемки, в частности от соотношения частоты вибрации и скорости скользящего затвора и, естественно, от амплитуды вибрации.
Это еще не все. В старые, добрые времена фотографы знали, что, при съемке со вспышкой, не стоит устанавливать выдержку на фотоаппарате менее 1/125 с. Не так хороша была синхронизация вспышки на большинстве аппаратов, а длительность вспышки считалась примерно 1/500 – 1/1000 секунды. Так вот, если вспышка происходила во время движения затвора (шторного, продвинутого, для центральных затворов этого эффекта не было), то часть кадра могла оказаться светлой (подсвеченной вспышкой), а другая часть кадра – темной (не подсвеченной вспышкой). Шторка затвора напомнила скользящий затвор? Правильно, так оно и есть. И, для примера, вот вам фотографии со вспышкой, сделанные камерой с матрицей CMOS.
Слева – фото без вспышки. Справа – темная полоса там, где вспышка отсутствовала.
Очень неприятным проявлением этого эффекта является то, что камера оказывается чувствительной к мерцаниям люминесцентных ламп. Первый раз я даже удивился, когда не смог с помощью ручной регулировки затвора добиться подавления мерцаний, потом понял – причина в CMOS матрице. Правда, нужно отметить, что современные модели камер имеют фильтры подавления мерцаний, только работают они, видимо, не совсем так, как фильтры подавления мерцания для CCD. К сожалению, пока я не нашел понятного мне описания принципа работы фильтров мерцания для CMOS.
Ну, и еще один ролик. Снято на IPhone 4, есть и наклон движущегося объекта (смотрите, как наклоняется поезд, при приближении, наклоняются дома), есть и эффект желе (смотрите ролик дальше). В общем, почти все эффекты в одной записи.
Если ролик не воспроизводится, вы можете посмотреть его по ссылке: http://www.youtube.com/watch?v=BdnsuI2g_wY
Что же получается? У CMOS все плохо, а у CCD все хорошо? Не совсем. В качестве основных недостатков CCD указывают пару эффектов (описано, в том числе, и в статье, указанной в начале, там и примеры изображений есть). Первый эффект – вертикальные полосы от ярких источников света.
Я, изначально, не собирался писать научную статью, поэтому не буду подробно описывать, как и почему это происходит. Дело в переполнении электронами потенциальных ям и перетекании зарядов из строки в строку. Об этом можно прочитать в трудах многих, известных нам авторов.
Второй эффект – размытие ярких участков на изображении. Причины, примерно, такие же.
Сразу отмечу, с указанными эффектами производители матриц хорошо знакомы и давно уже предпринимают достаточно успешные попытки снизить их заметность.
Как ни странно, путаницы в объяснении этих эффектов много. Например, уважаемая компания Dallmeier приводит свое видение:http://www.dallmeier-electronic.com/en/cctv-ip-video-surveillance/cameras/worth-knowing/ccd-vs-cmos.html
Не могу с ним согласиться, особенно поражает случайная выборка пикселей для CMOS. Ведь, в этом случае, наклон вертикальных линий будет выглядеть совсем по другому, проявление эффекта «желе» даже представить страшно.
Еще раз, не хочу менять стиль научно-популярной статьи, предлагаю выказаться по данному вопросу (иллюстрациям Dallmeier) нашим признанным мэтрам (Уваров, Уточкин, Арсентьев, Гонта и другим, простите те, кого не упомянул).
Немного о чувствительности
В большинстве источников указывается, что более низкая чувствительность матриц CMOS обусловлена меньшим размером чувствительного элемента. Слишком много места занимают коммутирующие транзисторы пикселя.
С другой стороны, технологии не стоят на месте и был «придуман» метод обхода этой неприятности, который назвали EXMOR. В таких матрицах электронная «обвязка» пиксела, препятствующая продвижению фотонов на светочувствительный элемент, была перемещена из верхнего в нижний слой матрицы, что позволило увеличить как физический размер пиксела при тех же геометрических размерах матрицы, так и доступность элементов свету, что, соответственно, увеличило светочувствительность каждого пиксела и матрицы в целом.
Можно считать, что после этого чувствительности CCD и CMOS почти сравнялись, однако и CCD продолжает развиваться, тоже повышая пределы чувствительности. Гонка за чувствительностью не закончилась, она продолжается.
Не забывайте только одну банальную вещь. Чувствительность в видимом свете увеличить уже, практически, нельзя. Ее повышают за счет ИК диапазона и такая повышенная чувствительность «существует» только для черно-белого (монохромного) изображения. В «цвете», даже самая чувствительная матрица будет показывать так же, как матрица со стандартной чувствительностью (если установлен «честный» вырезающий ИК фильтр).
В заключение, хочу поблагодарить авторов всех научных статей, авторов постов на форумах, авторов использованных роликов и пр. Вы все очень помогли мне в написании этой, отнюдь не научной, а просто популярной статьи. Я не привожу список используемого материала. Статья-то получилась научно-популярная, да и боюсь, он оказался бы больше по размеру, чем сама публикация.
Алексей Сизов, технический директор