Основы цифровой визуализации. Часть 7
Kenneth R. Spring
В течение последних пятидесяти лет основным средством микрофотографии была пленка, которая хорошо служила научному сообществу благодаря точному воспроизведению бесчисленных изображений с оптического микроскопа. Только в последнее десятилетие усовершенствования в электронной камере и компьютерных технологиях сделали цифровое изображение более дешевым и простым в использовании, чем обычная фотография.
На рисунке 1 показан микроскоп проходящего / отраженного света Nikon Eclipse600,оснащенный вторичной цифровой камерой с охлаждением Пельтье, способной интегрировать изображения в течение длительного периода накопления. Система камер управляется отдельным устройством, которое подключается к порту FireWire, расположенному на IBM-совместимом персональном компьютере. Периоды интеграции и другие параметры получения изображения выбираются проприетарной программой на базе Windows.
Когда камера, имеющая датчик изображения с зарядовой связью (CCD), включает в себя аналого-цифровой (A / D) преобразователь на датчике или в непосредственной близости, его обычно называют цифровой камерой . Поскольку ПЗС-чипы, как и все оптические датчики, являются аналоговыми устройствами, которые генерируют поток переменных напряжений, термин «цифровой» используется только тогда, когда эти напряжения оцифровываются в камере и выводятся в формате, совместимом с компьютером. В 12-разрядной цифровой камере аналоговый сигнал от ПЗС-преобразователя оцифровывается с помощью 12-разрядной глубины встроенным аналого-цифровым преобразователем. То, можно ли на самом деле разрешить выходной сигнал в 4096 дискретных уровней интенсивности (12 бит), зависит от шума камеры. Чтобы различать отдельные уровни интенсивности, каждый шаг уровня серого должен быть примерно в 2,7 раза больше шума камеры. В противном случае, разница между этапами 2982 и 2983, например, не может быть решена с какой-либо степенью достоверности. Некоторые так называемые 12-битные камеры имеют такой сильный шум камеры, что 4096 дискретных шагов невозможно различить.
Если сигнал является аналоговым для начала, зачем оцифровывать его в камере, а не где-то вниз по течению? Использование встроенного аналого-цифрового преобразователя дает два преимущества: снижение уровня шума и прямой вывод, совместимый с компьютером. Как правило, чем ближе АЦП к датчику, тем ниже уровень шума. Низкоуровневые аналоговые сигналы от ПЗС гораздо легче искажаются шумом, чем их высокоуровневые цифровые аналоги. В идеальном случае АЦП находится на ПЗС-матрице, непосредственно примыкающей к выходному усилителю датчика. Чем ниже уровень шума, тем больше уровней серого можно идентифицировать и, следовательно, тем больше битов можно использовать для измерения интенсивности.
Цифровая камера имеет ряд преимуществ перед аналоговым аналогом. Цифровые камеры производят вывод с прогрессивной разверткой в отличие от чересстрочного сигнала, генерируемого видеокамерами. Оцифровка чересстрочных видеосигналов требует специализированных плат захвата и кадровых буферов. Вывод камер с прогрессивной разверткой может быть подключен непосредственно к компьютеру (например, интерфейсы IEEE-1394, RS-422 или SCSI). В камере с прогрессивной разверткой все изображение сначала получается в течение времени экспозиции (также обозначаемое как период интегрирования), а затем считывается построчно от верхней части изображения до нижней. Современные высокоскоростные усилители и аналого-цифровые преобразователи позволяют цифровым камерам создавать полнокадровые изображения со скоростью, равной или превышающей частоту кадров видео.
Еще одним преимуществом цифровых камер является то, что вывод идеально подходит для формата монитора компьютера. Поскольку сигнал уже оцифрован, хранение, обработка и отображение изображений значительно упрощены по сравнению с аналогичными маневрами с использованием видеосигналов. Трудности работы с отпечатками, слайдами и негативами устраняются в цифровой фотографии, потому что многие научные журналы в настоящее время принимают файлы цифровых изображений. В результате улучшается качество как опубликованных изображений, так и показанных в презентациях. Оцифрованное изображение может быть обработано, сжато, передано через Интернет, вставлено в документы или настроено на постер.
ПЗС-архитектура
В цифровых камерах обычно используются две конструкции ПЗС: межстрочная передача и передача кадров. ПЗС с межлинейной передачей включает каналы переноса заряда рядом с каждым фотодиодом, так что накопленный заряд может быть эффективно и быстро перенесен на них ( рисунок 2 ). Датчики межлинейного переноса также можно отключить электронным способом, сбросив накопленный заряд вместо его перемещения в каналы переноса. ПЗС с передачей кадров использует датчик из двух частей, верхняя часть которого закрыта светонепроницаемой маской и используется в качестве области хранения. Свет может падать на непокрытую часть, и накопленный заряд затем быстро перемещается в отмеченную область хранения. Пока сигнал интегрируется в чувствительную к свету часть датчика, сохраненный заряд считывается.
Для научных применений используются два типа цветных цифровых камер: одиночная ПЗС-камера с фильтром выбора длины волны или камера с тремя датчиками. Оба используют фильтры для создания красных, зеленых и синих версий поля зрения. Камеры с одним датчиком используют колесо фильтра или жидкокристаллический перестраиваемый фильтр для последовательного получения красного, зеленого и синего изображений. Камера с тремя датчиками имеет призму с расщеплением луча и фильтры обрезки, которые позволяют каждому датчику отображать соответствующий цвет и получать все три изображения одновременно. Цветные камеры неизменно менее чувствительны, чем их монохромные аналоги, из-за дополнительных компонентов расщепления луча и выбора длины волны. В некоторых приложениях, особенно при иммунофлуоресценции, потеря чувствительности компенсируется возможностью захвата нескольких длин волн одновременно или в быстрой последовательности. Кроме того, некоторые цветные камеры достигают более высокого разрешения за счет смещения по диагонали красного, зеленого и синего сенсоров, каждый на одну треть пикселя, что увеличивает количество полученных образцов в три раза.
Хотя производители и пользователи ПЗС-камер обычно называют каждый фотодиод пикселем (элементом изображения), нет необходимого соответствия между количеством и положением пикселей в датчике и на мониторе компьютера или принтере. Однако разрешение дисплея или принтера всегда должно быть не меньше, чем у датчика.
Квантовая Эффективность
Квантовая эффективность (QE) относится к проценту обнаруженных падающих фотонов. (Для справки, QE нашего фотопического зрения составляет около 3 процентов; Рисунок 3 ). Кремниевые фотодиоды, основные строительные блоки ПЗС, имеют высокое КЭ (80 процентов) в широком диапазоне видимого спектра и в ближней инфракрасной области, как показано на рисунке 3 . Спектральная чувствительность ПЗС ниже, чем у простого кремниевого фотодиода, потому что ПЗС имеет каналы переноса заряда на своей поверхности, которые снижают пик QE до примерно 40 процентов.
В последнее время прозрачность каналов некоторых ПЗС научного уровня была увеличена, и QE в сине-зеленом диапазоне улучшилось почти до 70 процентов. Потери от поверхностных каналов полностью исключены в CCD с задней подсветкой. В этой конструкции свет падает на заднюю часть ПЗС в области, которая была утончена травлением до прозрачности. Квантовая эффективность достигает 90 процентов. Тем не менее, обратное истончение приводит к деликатному, относительно дорогому датчику, который до настоящего времени использовался только в ПЗС-камерах медленного сканирования научного уровня.
Шум в ПЗС-камерах
В ПЗС-камерах есть два основных источника шума: темный шум и считывающий шум. Хотя за последние несколько лет были достигнуты значительные улучшения в снижении темнового шума ПЗС при комнатной температуре, охлаждение микросхемы дополнительно снижает шум в десять раз на 20 ° C. Темный шум наиболее очевиден в виде «горячих» пикселей (белые точки) на изображениях, полученных с помощью ПЗС-камер с комнатной температурой после периодов интеграции 4 или 5 секунд. Охлаждение до 0 ° C обычно достаточно для периодов интеграции до 30 секунд. Эксперименты, требующие очень длительного воздействия (например, хемилюминесценции), требуют еще более низких температур сенсора. Цифровые камеры доступны в охлажденном или неохлаждаемом исполнении.
Источники шума различаются в цифровых камерах, и несколько общих типов представлены в виде следов осциллографа . Фотонный шум, темновой ток, фиксированный шаблонный шум и неоднородность фотоотклика генерируются на самой ПЗС, в то время как шум сброса, I / f-шум и шум квантования возникают во время усиления и преобразования аналогового сигнала в цифровой выход. В усилителе на ПЗС-матрице генерируется считывающий шум, который преобразует сохраненный заряд каждого фотодиода (то есть пикселя) в аналоговое напряжение, которое количественно определяется посредством аналого-цифрового преобразования. Шум считывания может рассматриваться как «плата», которую необходимо заплатить за считывание сохраненного заряда. Размер этой платы неуклонно уменьшался в последние несколько лет до 5-10 электронов / пиксель из-за улучшений в дизайне ПЗС, тактировании и методах выборки. Шум считывания увеличивается пропорционально скорости считывания. Стоимость более быстрого перехода - больше шума и, следовательно, больше неопределенности в определении напряжения и меньшее количество битов разрешения. Вот почему камеры с медленным сканированием обычно показывают меньший шум считывания, чем более быстрые выходные детекторы, и имеют большее количество полезных битов. Цифровые камеры варьируются от тех, которые имеют глубину 8-12 бит при скорости вывода 30 кадров в секунду, до глубины 16 бит при скорости 1-2 кадра в секунду.
Одним из решений проблемы скорости / считывающего шума является использование нескольких выходных усилителей (отводов) на большой ПЗС. Вместо считывания сохраненного заряда со всей ПЗС-матрицы через один выходной усилитель датчик разделен на четыре или восемь секций, каждая из которых имеет свой собственный усилитель. Изображение считывается по частям, а затем сшивается в программном обеспечении со скоростью несколько кадров в секунду. Требуемая скорость и связанный шум каждого усилителя соответственно уменьшаются.
Соотношение сигнал шум
Поскольку фотоны случайно попадают на поверхность сенсора, их количество колеблется с шумом, как описано в статистике Пуассона, равной квадратному корню из числа обнаруженных фотонов. Конечно, шум камеры добавляет к этому фотону статистический шум и еще больше уменьшает отношение сигнал / шум. Наибольшее отношение сигнал / шум, которое может быть достигнуто цифровой камерой, является квадратным корнем максимального накопленного заряда (полная емкость лунки). Простая оценка точки S / N любой однородной области на изображении - это средняя интенсивность интересующей области, деленная на стандартное отклонение интенсивности этой области.
Сколько пикселей в цифровой камере достаточно?
Разрешение ПЗС-матрицы зависит от количества фотодиодов и их размера относительно проецируемого изображения. Матрицы ПЗС 1000 x 1000 фотодиодов в настоящее время широко распространены в цифровых камерах. Тенденция в производстве ПЗС потребительского и научного качества заключается в уменьшении размера сенсора с некоторыми ПЗС-фотодиодами размером всего 4 х 4 мкм. Исходя из теории выборки, адекватное разрешение объекта может быть достигнуто только в том случае, если для каждой разрешаемой единицы сделано не менее двух выборок. (Многие пользователи предпочитают три выборки на разрешаемую единицу для обеспечения достаточной выборки).
В эпифлуоресцентном микроскопе дифракционный предел Аббе линзы с 1,4-числовой апертурой при 550 нанометрах составляет 0,22 микрона. Для объектива со 100-кратным увеличением проецируемый размер дифракционно-ограниченного пятна на лицевой стороне ПЗС-матрицы составляет 22 микрона. Размер фотодиода 11 х 11 микрон просто позволил бы согласовать оптическое и электронное разрешение, при этом предпочтительнее фотодиод 7 х 7 микрон. Требования к размеру пикселя для максимального разрешения в оптической микроскопии представлены в таблице 1 для диапазона увеличения объектива от 4x до 100x. Со 100-кратным объективом и без дополнительного увеличения ПЗС-матрица 1000 x 1000 с фотодиодами размером 7 x 7 микрон будет захватывать поле зрения размером 70 x 70 микрон в плоскости объекта. Когда размер изображения, проецируемого на ПЗС, соответствующим образом отрегулирован для правильной выборки, большее количество фотодиодов в ПЗС увеличивает поле зрения, а не разрешение. Требования к разрешению различных устройств вывода могут потребовать передискретизации на датчике, чтобы конечный продукт (например, предметно стекло, распечатка или плакат) имел адекватное разрешение при конечном размере.
Динамический диапазон
Внутрисценовый динамический диапазон обозначает полезный диапазон интенсивностей, которые могут быть одновременно обнаружены в одном и том же поле зрения. Межсценовый динамический диапазон - это диапазон интенсивностей, который может быть приспособлен, когда усиление детектора, время интегрирования, апертура объектива или другие переменные регулируются для различных полей зрения. Хотя маленькие датчики на ПЗС желательны с точки зрения разрешения, они ограничивают динамический диапазон устройства. Полная емкость ПЗС-матрицы примерно в 1000 раз превышает площадь поперечного сечения каждого фотодиода. Таким образом, ПЗС-матрица с пикселями 7 x 7 микрон должна иметь полную емкость 49000 электронов или дырок. (Дыра - это область кремния, из которой электрон пришел и составляет и в равной степени действительный и пригодный для использования показатель обнаруженных фотонов. Используется термин «электрон», хотя большинство ПЗС считывает количество генерируемых дырок, а не электронов.) Поскольку ПЗС делают не имеют собственного усиления, одна электронно-дырочная пара накапливается для каждого детектируемого фотона.
Динамический диапазон ПЗС обычно определяется как полная емкость, деленная на шум камеры. Шум камеры рассчитывается как квадратный корень из суммы квадратов темнового шума и шума считывания. Таким образом, динамический диапазон полноразмерной ПЗС-матрицы на 49000 электронов с 10 электронами шума считывания и пренебрежимо малым темновым шумом составляет около 4900, что соответствует 12 битам. Однако оцифровка выходных данных такой камеры с 12-битной глубиной означает, что 49000 электронов делятся на 4096 АЦП, каждая из которых содержит 12 электронов (49000/4096). Поскольку шум составляет 10 электронов, каждый шаг уровня серого всего в 1,2 раза больше шума и не может быть различим. Оцифровка в 10 битов приведет к тому, что каждая АЦП будет состоять из 49 электронов, что примерно в пять раз превышает уровень шума, и тогда можно будет различить каждый из 1024 уровней серого. Таблица 2, которая охватывает диапазон, имеющий пять порядков.
Контроль скорости, эффективного размера пикселя и поля зрения
Цифровые камеры с медленным сканированием позволяют контролировать скорость считывания, эффективный размер пикселя, составляющего датчик, и поле обзора. ПЗС-камеры научного уровня обычно предлагают две или более скорости считывания, чтобы можно было поменять скорость на шум. Эффективный размер пикселя во многих цифровых камерах с медленным сканированием может быть увеличен путем биннинга - процесса, при котором заряд от кластера соседних фотодиодов объединяется и обрабатывается так, как если бы он поступал от детектора большего размера.
Биннинг полезен, когда уровни света очень низки и мало фотонов обнаружено, потому что это позволяет исследователю обменивать пространственное разрешение на чувствительность. Кроме того, большинство ПЗС-камер с медленным сканированием позволяют считывать интересующие области, в которых может отображаться выбранная часть изображения, а оставшаяся часть накопленного заряда отбрасывается. Скорость кадрирования обычно увеличивается пропорционально уменьшению поля обзора. Например, ПЗС с размером датчика 1000 x 1000 и скоростью вывода 10 кадров / с может производить 100 кадров / с, если область считывания уменьшена до 100 x 100 диодов. Путем замены поля зрения и скорости кадрирования исследователь может приспособиться к гораздо более широкому диапазону экспериментальных обстоятельств, чем было бы возможно с камерой с фиксированной скоростью кадрирования.
Усиленные цифровые камеры
Несколько производителей теперь предлагают цифровые камеры, оборудованные усилителем изображения для изображения при очень низком уровне освещенности. Они имеют фотокатод в непосредственной близости от электронного умножителя микроканальной пластины и фосфоресцентного выходного экрана (см. Иллюстрацию на рисунке 5 ). Фотокатод в последнем поколении этих устройств обладает высокой квантовой эффективностью (до 50 процентов) в сине-зеленом конце спектра. Усиление усиления регулируется в широком диапазоне с типичным максимумом около 80000. Тепловой шум от фотокатода, а также шум умножения электронов от микроканальной пластины снижают отношение сигнал / шум в усиленной ПЗС-камере до уровня ниже, чем у ПЗС с медленным сканированием. , Разрешение усиленной ПЗС зависит как от усилителя, так и от ПЗС, но обычно ограничивается геометрией микроканальной пластины усилителя примерно до 75 процентов от геометрии только ПЗС.
Усиленные цифровые камеры имеют уменьшенный динамический (и внутрисценовый динамический) диапазон по сравнению с камерами с медленным сканированием, и большинство из них ограничены 10-битным разрешением. Усиление усилителя может быть быстро и воспроизводимо изменено для приспособления к изменениям яркости сцены, тем самым увеличивая динамический диапазон между сценами.
Действительно, поскольку усилители изображения могут быть стробированы, то есть выключены или включены за несколько наносекунд, относительно яркие объекты можно визуализировать путем сокращения времени включения. Усиленные цифровые камеры необходимы для большинства приложений флуоресцентной микроскопии с временным разрешением, поскольку усиление детектора должно модулироваться на высокой частоте синхронно с источником света. Из-за низкого светового потока, необходимого в живых клетках, усиленные ПЗС-камеры часто используются для изучения динамических событий и для получения изображений с соотношением.
Выбор подходящей камеры
Ни один детектор не будет отвечать всем требованиям флуоресцентной микроскопии, поэтому исследователь должен идти на компромисс. Время выдержки часто является критическим параметром. Когда есть время для интеграции изображений, ПЗС-камера с медленным сканированием будет превосходить и усиливать камеру во всех областях, в значительной степени из-за более высокой квантовой эффективности и низкого уровня шума. Охлаждение всегда улучшает производительность цифровой камеры, хотя разница может быть незаметной, если время интеграции составляет несколько секунд или меньше, а глубина оцифровки составляет 8-12 бит. Для приложений, связанных с цифровой деконволюцией, предпочтительным детектором является охлаждаемая камера научного класса с медленным сканированием, способная создавать 14-16-битное изображение с высоким разрешением. Размер фотодиода имеет значение; некоторые ПЗС имеют такие маленькие пиксели, что период интегрирования, возможно, придется ограничить, чтобы избежать насыщения лунок накопления заряда, в результате чего может быть нарушен динамический диапазон и пиковое отношение сигнал / шум. Если расследуемое событие является быстрым, но может быть точно инициировано, то может быть пригодна ПЗС с медленным сканированием, работающая в пакетном или высокоскоростном режиме. Однако, когда событие не является легко предсказуемым, и образец должен непрерывно контролироваться при низком падающем световом потоке, усиленный ПЗС является предпочтительным детектором. По этой причине в одномолекулярной флуоресцентной визуализации используется усиленная цифровая камера.
Микрофотография, представленная на рис.6, представляет собой комбинированное эпифлуоресцентное / фазово-контрастное изображение тонкого среза кишечника мыши, окрашенного трижды с несколькими флуоресцентными хромофорами. Nikon Eclipse E600, аналогичный показанному на рисунке 1 , использовался с цифровой камерой Nikon DXM 1200 для записи изображения на рисунке 6. Когда для обычных гистологических образцов необходимы цветные изображения, камера с тремя ПЗС предпочтительнее недорогой. односенсорная камера со встроенной цветовой маской. ПЗС-камеры с одним разрешением и высоким разрешением, оснащенные съемным красно-зелено-синим жидкокристаллическим фильтром, оказались очень полезными как для светлопольной, так и для флуоресцентной микроскопии.
Будущие перспективы
Недавние улучшения в характеристиках CMOS (дополнительных металлооксидных полупроводниковых) камер предвещают потенциально важную будущую роль этих устройств в флуоресцентной микроскопии. КМОП-камеры имеют усилитель и дигитайзер, связанные с каждым фотодиодом в формате встроенного чипа. Результатом является недорогой, компактный, универсальный детектор, сочетающий преимущества обнаружения кремния без проблем переноса заряда. КМОП-сенсоры позволяют снова манипулировать отдельными фотодиодами, считывать интересующие области, осуществлять высокоскоростную выборку, электронные затворы и формат экспозиции для компьютерного интерфейса. До недавнего времени они страдали от высокого шума фиксированного типа, связанного с артефактами переключения и выборки, но эти проблемы в настоящее время быстро решаются. Вполне вероятно, что в ближайшем будущем они заменят ПЗС в цифровых камерах для ряда научных приложений.