СТАТЬИ И ПУБЛИКАЦИИ

Вход или Регистрация

ПОМОЩЬ В ПАТЕНТОВАНИИ НАУЧНО-ТЕХНИЧЕСКИЙ ФОРУМ Научно-техническая библиотекаНаучно-техническая библиотека SciTecLibrary
 
Cтатьи и Публикации    Новые компьютерные технологии ПОВЫШЕНИЕ КАЧЕСТВА КИНОИЗОБРАЖЕНИЯ СРЕДСТВАМИ ВЫЧИСЛИТЕЛЬНОЙ ТЕХНИКИ. ЧАСТЬ ПЕРВАЯ: МЕТОДЫ ОЦЕНКИ ДВИЖЕНИЯ.

ПОВЫШЕНИЕ КАЧЕСТВА КИНОИЗОБРАЖЕНИЯ СРЕДСТВАМИ ВЫЧИСЛИТЕЛЬНОЙ ТЕХНИКИ.

ЧАСТЬ ПЕРВАЯ: МЕТОДЫ ОЦЕНКИ ДВИЖЕНИЯ

© Казаков Ярослав Владимирович

Контакт с автором: yvk@nm.ru

Санкт-Петербургский государственный университет кино и телевидения. Кафедра кино-видеоаппаратуры.



Вниманию читателей предлагается цикл статей, посвященный новому направлению повышения качества изображения в кинематографе посредством использования вычислительной техники. В этом цикле мы познакомим читателя с проблемами качества изображения в современном кинематографе, рассмотрим основные пути повышения этого качества, проведем сравнительный анализ различных методов обработки изображения, которые могут быть использованы для решения поставленных задач, и в завершении мы рассмотрим теоретическую и практическую стороны предложенного авторами решения.

Введение

Проблема повышения качества изображения в кинематографе является открытой на протяжении всех последних лет. В лучшем случае, в традиционной 35–мм кинематографической системе удается достичь лишь психологически точного изображения [2]. Долгое время с этим фактом мирились и зрители, и специалисты.

Основных причин здесь две: неверно выбранная частота съемки и сложный многоступенчатый процесс создания фильмокопии.

Как известно еще Эдисон научно обосновал минимально допустимую частоту съемки/проекции, которая составила 48 кадров в секунду. Однако реализовать такую скорость съемки в те годы не представлялось возможным из-за низкого уровня развития кинотехники и химических технологий. Поэтому частота съемки/проекции в те годы была 12 – 16 кадров в секунду.

Увеличение частоты съемки/проекции до 24 кадров в секунду явилось вынужденной мерой, вызванной появлением звуковой дорожки. С тех пор эта частота так и осталась неизменной и постепенно утвердилась в качестве мирового стандарта. Более того, именно для обеспечения совместимости с кинофильмами разработчиками телевизионной техники была выбрана частота смены кадров 25 Гц.

Несмотря на то, что такая частота съемки не устраивала операторов и режиссеров, изменить что либо было уже невозможно по причине широкой распространенности существующей техники. Несмотря на то, что были выработаны рекомендации для съемки различных видов сцен, искажения разного рода все равно негативно отражались на восприятии зрителями кинофильма.

Рассмотрим на простом примере возникновение искажения при съемке с частотой 24 с-1.

Для начала вспомним теорему Котельникова, которая гласит: для того чтобы избежать возникновения искажений при восстановлении исходного аналогового сигнала из дискретного, необходимо чтобы частота дискретизации была как минимум в два раза выше, чем максимальная частота, присутствующая в сигнале. Процесс дискретизации сигнала в реальной жизни демонстрирует рис 1, где вертикальными стрелками показаны дискретные значения сигнала.

Из рисунка видно, что частота дискретизации равная 1/Т мала по сравнению с частотой сигнала. Следовательно, часть полезной информации теряется уже на входе. При восстановлении такого сигнала происходит его усреднение по переменной t. Чем больше шаг дискретизации, тем менее точным будет восстановленный сигнал. В кинематографе это проявляется в виде искажений первого и второго рода. Наиболее заметные искажения во временной области – стробоскопический эффект, прерывистость, дробление изображения.

Первый и наиболее естественный путь исправления этих искажений – повышение частоты временной дискретизации. Другой путь – попытка найти промежуточное значение сигнала. Однако это довольно сложный процесс, так как на вход устройства, определяющего промежуточное значение сигнала, будет подаваться сильно “прореженный” сигнал без какой-либо дополнительной информации по его исправлению.

Более подробную информацию о причинах и характере как временных, так и пространственных искажений можно найти в [13].

 

Рис.1. Дискретизация сигнала: а- входной сигнал, б- выходной сигнал

До последнего времени аналогичным образом обстояли дела и в видеотехнике. Однако в последние годы стали широко внедрятся видеотехнические средства, работающие с новыми телевизионными стандартами, объединенными в группу под названием “телевидение высокой четкости”. В эту группу входят несколько телевизионных стандартов, основной особенностью которых является повышенная частота съемки/проекции и увеличенное количество элементов изображения (пикселей) на матрице ПЗС. Все это позволяет значительно повысить качество видеоизображения и приблизить его к качеству изображения, полученного посредством современной кинематографической системы. Общие тенденции развития электронной техники говорят о том, что возможно и дальнейшее повышение качества видеоизображения.

Однако здесь не следует забывать и о неиспользованном резерве кинопленки, которая уже сегодня может обеспечить пространственную составляющую качества, в несколько раз превышающую все современные видеотехнические системы (до 80мм-1 [1]). Киносъемочная камера на данном этапе является единственным устройством, способным записывать огромное количество визуальной информации в масштабе реального времени. Это преимущество целесообразно использовать для записи изображений в реальном масштабе времени с последующим переводом в цифровой вид.

Однако упоминавшаяся ранее низкая частота съемки и необходимость использования дополнительных устройств (проявочные машины, цифровые сканеры) снижают эффективность использования киносъемочной камеры как современного устройства ввода визуальной информации.

Подытоживая вышесказанное, можно сделать вывод: существуют два направления повышения качества изображения в кинематографе и видеотехнике. Первое направление - повышение характеристик матриц ПЗС путем повышения пространственного разрешения, контрастности, отношения “сигнал-шум” и т.д. Второе направление - использование киносъемочной техники с последующим переводом в нужный формат. При этом главным условием является повышение частоты съемки до 60 – 90 с-1. Оба направления имеют свои сложности; так, возникает вопрос, сможет ли матрица ПЗС преобразовывать такой же объем визуальной информации в реальном времени, какой записывает кинопленка, а также, во сколько обойдется переоборудование всех киностудий и кинотеатров под новый стандарт съемки/проекции? Кроме того, непосредственное увеличение частоты съемки приведет к повышению уровня шума, снижению времени экспозиции, а, следовательно, к необходимости повышения освещенности и другим сопутствующим проблемам.

Несмотря на все сложности, вызванные повышением частоты съемки, и учитывая теоретические и практические предпосылки [2,4], можно рассчитывать на быструю и экономически выгодную реализацию данного направления, которое позволит уже сегодня, используя существующую киносъемочную и вычислительную технику, значительно повысить качество изображения. Более того, это решение позволит тесно интегрировать кинематограф с современными средствами мультимедиа, а также перевести существующий фильмофон в новый стандарт с повышенной частотой проекции при максимальном устранении временных искажений.

Суть решения, предложенного на кафедре киновидеоаппаратуры заведующим кафедрой проф. Гребенниковым О.Ф., заключается в использовании существующего стандарта съемки с последующим автоматизированным воссозданием изображения в те моменты времени, когда кадровое окно было закрыто обтюратором, и повышенной частотой проекции. В этом случае минимизируются затраты без изменения съемочного процесса, не требуется значительных усилий для увеличения частоты проекции, а вычислительный комплекс может строиться на базе современных персональных компьютеров. Нерешенным остается вопрос о разработке метода воссоздания промежуточных изображений, ответ на который является целью данного цикла статей.

Для того чтобы научить компьютер автономно без участия человека-оператора воссоздавать промежуточные изображения, необходимо, используя накопленные в области цифровой обработки изображений знания, определить способ представления визуальных данных, которые будут обрабатываться компьютером, и в зависимости от этого способа разработать структурную схему будущей системы.

Начнем рассмотрение способов представления визуальных данных с распространенных в видеотехнике систем сжатия и кросс-конверции. Задачи, решаемые этими системами, аналогичны поставленной здесь задаче. 

Оценка и компенсация движения в системах сжатия и кросс-конверции

Оценка и компенсация движения в системах сжатия и кросс-конверции видеоинформации достаточно хорошо изучена и широко распространена. Оценка и компенсация движения представляет собой процесс, состоящий из нескольких этапов. На первом этапе производится разделение изображения на области. Далее для каждой области на текущем кадре производится поиск аналогичной области на смежном кадре. После нахождения такой области рассчитывается смещение. Затем каждой точке, принадлежащей текущей области, присваивается расчетное значение смещения (вектор движения) и производится синтез нового значения интенсивности в промежуточный момент времени.

Несмотря на внешнюю простоту принципа оценки и компенсации движения, его практическая реализация сталкивается со значительными трудностями, главная из которых – это многообразие сюжетов, не подвергающихся формализации.

В существующих системах сжатия и кросс-конверции видеопотока наиболее часто применяются методы соответствия пространственных областей и градиентные методы.

Методы сравнения пространственных областей различают по типу пространственной области (блок постоянного размера, блок переменного размера), по критерию сравнения (значение абсолютного отклонения, коэффициент корреляции). Эти методы характеризуются значительными вычислительными затратами, поэтому основные усилия по применению этих методов направлены на разработку алгоритмов, снижающих вычислительные затраты. Другими характерными недостатками методов сравнения пространственных областей являются проблема выбора размеров блока и зоны поиска, а также определение правила выбора вектора смещения из набора векторов-кандидатов и правила обработки областей открытия/закрытия фона [8,5,7,6].

В основу градиентных методов положен расчет оптического потока (ОП) или отношения пространственного и временного градиентов. Допустим, задан некоторый пространственный градиент, перепад яркости. Допустим также, что он не меняется с течением времени. Тогда при движении этого перепада, значение интенсивности в некоторой точке будет изменяться. Это изменение представляет собой временной градиент [7, 10, 9].

Расчет оптического потока требует введения определенных ограничений. Первое ограничение – это неизменность интенсивности точки на смежных кадрах вдоль траектории движения, ограничение постоянства яркости. Это означает, что любое изменение яркости вызвано исключительно смещением области изображения. Второе ограничение, пространственная связность или ограничение плавности, состоит в том, что точки, расположенные в малой, окрестности должны принадлежать одной и той же области изображения. Это означает, что оптический поток в произвольно малой области является постоянным, т.е. не существует участков изображения, на которых точки движутся в разных направлениях. Очевидно, что выполнение этих двух ограничений не всегда возможно в условиях кинематографа.

Кроме вышеперечисленных методов, используются статистические, частотные и методы высшего порядка.

Основная идея статистических методов заключается в расчете критерия максимума апостериорной вероятности поля движения. Существует несколько способов реализации этого подхода. Первый способ максимизации апостериорной вероятности заключается в стохастической релаксации, например, “имитированном отжиге”, которая гарантирует сходимость на глобальном максимуме. При стохастическом поиске следующая точка выбирается произвольным образом, поэтому процесс поиска требует значительных вычислительных затрат. Для его оптимизации разработан второй способ, детерминистский вариант “имитации отжига” - “детерминистский отжиг”, при котором аналитически оцениваются наиболее подходящие математические ожидания значений системных параметров, т.е. переменных, используемых в процессе оптимизации.

Основным недостатком статистических методов является медленная сходимость стохастической релаксации. Детерминистские методы быстрее сходятся, однако не могут гарантировать оптимального решения. К числу общих недостатков можно отнести итерационную структуру всех методов, вызванную необходимостью минимизации некоторой функции.

В основе частотных методов лежит преобразование Фурье (ПФ), переводящее двумерный дискретный сигнал в частотную область. Наиболее распространенным является метод фазовой корреляции. Однако используемые в процессе присвоения векторов движения блочные методы снижают его эффективность.

Приведенные выше методы относятся к так называемым простым методам, обрабатывающим только плоскопараллельное смещение. Эти методы не в состоянии обрабатывать более сложные движения, такие как вращение или комбинированное движение. Для обработки сложных смещений были разработаны так называемые методы высшего порядка. Наиболее распространенным из них является метод на основе аффинного преобразования. В большинстве случаев аффинная модель задается шестью параметрами, отражающими смещение, поворот, масштабирование, отражение, сдвиг и перспективные преобразования. Задача заключается в определении параметров аффинного преобразования между кадрами t и t+1 [11].

Подбор параметров производится путем минимизации разности изображений между двумя соответствующими регионами на соседних кадрах. При этом предполагается, что области изображения со схожими параметрами аффинного преобразования принадлежат одной и той же поверхности [6]. Кроме шести параметров аффинного преобразования, что условно можно представить в виде сетки, состоящей из треугольников, используют восьми параметрическую аффинную модель, что соответствует сетке, состоящей из прямоугольников, при этом каждая вершина имеет две степени свободы.

Выводы

Заканчивая обзор методов оценки и компенсации движения в системах сжатия и кросс-конверции, подытожим присущие им недостатки:

Все эти недостатки затрудняют использование рассмотренных методов в кинематографе. Более того, как отмечено в [12], кросс-конвертор, построенный на базе этих методов, не в состоянии устранить временные искажения. Данные факты опровергают выводы, сделанные в работе [2], о возможности использования кросс-конвертора для удвоения кадров с целью устранения временных искажений.

Как выяснилось, системы, используемые в видеотехнике для решения аналогичной задачи - воссоздания промежуточного изображения - не имеют принципиальной возможности устранения временных искажений. Следствием этого вывода является необходимость продолжения поиска методов в области цифровой обработки изображений, имеющих такую возможность. Поэтому следующая статья будет посвящена методам признакового описания изображений. 

ЛИТЕРАТУРА:

  1. Рубрика: "Коротко о новом" Телевидение. Применение ТВЧ в кинематографе. //ТКТ.-1991.-№4.-с70-71.
  2. Макарова Л.В. Совершенствование процесса создания кинофильма кинематографа высокого качества применением видео средств. Дис. ... канд. техн. наук С.-Пб.: СПбГУКиТ, 2000.
  3. Гребенников О.Ф., Гусев В.П., Казаков Я.В. К вопросу о синтезе изображения промежуточных фаз движения в кинематографе. - Сборник трудов СПбГУКиТ “Проблемы развития техники, технологии и экономики кино и телевидения ”.–2001-вып. 12-С. 14-18.
  4. Молюхова Т.В. Совершенствование системы кинематографа высокого качества применением импульсного источника света. Дис. ... канд. техн. наук С.-Пб.: СПбГУКиТ, 2002.
  5. Fakhouri E.M. Variable Block-Size Motion Estimation. http://citeseer.nj.nec.com/fakhouri97variable.html (11.04.00)
  6. Kruger S. Motion Analysis and Estimation using Multiresolution Affine Models Ph.D. dissertation. http://citeseer.nj.nec.com/73388.html (01.04.00)
  7. Kruger S., Calway A. Multiresolution Motion Estimation Using An Affine Model. http://citeseer.nj.nec.com/73713.html (01.04.00)
  8. Оконер П. Преобразование стандартов с компенсацией движения. //ТКТ 4/95 стр. 24.
  9. Giaccone P.R., Jones G.A. Spatio-Temporal Approaches to Computation of Optical Flow. http://citeseer.nj.nec.com/16895.html (12.05.00)
  10. Aubert G., Deriche R., Kornprobst P. Computing optical flow via variational techniques. //SIAM Journal on Applied Mathematics, 60(1):156--182, 1999. http://citeseer.nj.nec.com/aubert99computing.html (12.04.00)
  11. Nikos P., Georgios T. Detection and location of moving objects using deterministic relaxation algorithms. //TR95-0155 1995 http://citeseer.nj.nec.com/232598.html (15.04.00)
  12. Уоткинсон Дж. Инженерное руководство по компенсации движения. Снелл и Уилкокс, Дуффорд Милл Петерсфилд Хэмпшир 1994.
  13. Гребенников О.Ф. Основы записи и воспроизведения изображения (в кинематографе): Учеб. пособие для вузов кинематографии. –М.: Искусство, 1982. –239 с., ил.
  14. Игнатьев Н.К. Дискретизация и ее приложение. –М.: Связь, 1980.- 264 с., ил.
Дата публикации: 14 апреля 2003
Источник: SciTecLibrary.ru

Вы можете оставить свой комментарий по этой статье или прочитать мнения других в следующих разделах ФОРУМА:
Свернуть Защита интеллектуальной собственности и авторских прав
Диспуты по темам изобретательства. Вопросы по изобретениям, проблемы на пути изобретателей и методы их решения.
Патентование. Все о патентовании изобретений, полезных моделей, промышленных образцов и товарных знаков.
Нерешенные задачи. Здесь идет обсуждение нерешенных задач: безопорный двигатель, вечный двигатель, преодоление гравитации и пр.
Свернуть Точные науки и дисциплины
Дебаты по Теории Относительности Эйнштейна. Все кому не лень хотят опровергнуть Теорию Относительности Эйнштейна. Вам предоставляется слово для аргументации.
Физика, астрономия, математические решения. Физико-математические вопросы, наблюдения, исследования, теории и их решение.
Физика альтернативная. Новые взгляды на физические законы, теории, эксперименты, не вписывающиеся в общепринятые законы физики.
Teхника, узлы, механизмы, электроника и аппаратура. Все про технику, приборы, детали, узлы и механизмы. Электроника, компьютеры, программное обеспечение. Новые технические решения в самых разных областях.
Биология, Генетика, Все о жизни. Генетика и другие вопросы биологии. Их развитие. Медицина. Биотехнологии, агротехника и сельское хозяйство. Эволюционные теории и альтернативные им.
Химия. Вопросы по химическим технологиям, разработкам и применению химических материалов. Химические элементы и их свойства.
Геология, все о Земле и ее обитателях. Геология, метеорология, антропология, сейсмология, атмосферные явления и непознанные эффекты природы.
Свернуть Мозговой штурм
Генератор решений. Здесь Вы можете заработать реальные деньги, помогая решать фирмам, предприятиям и частным лицам те или иные технические задачи, которые перед ними стоят. Те, кто ставят задачи перед участниками должны обозначить гонорар за ее решение и перевести указанную сумму на общий счет генератора.
Головоломки. Если у Вас есть желание поломать голову над интересными логическими задачами - Вам сюда.
Гипотезы. В этой теме идет обсуждение гипотез и предположений, основанных чисто на теории и логике.
Найди ляп! Этот раздел для тех, кто хочет мысленно расслабиться. Он посвящен задачам по поискам ляпов, которые встречаются в литературе, интернете, кино и на телевидении.
Свернуть Взгляд в будущее и настоящее
Глобальные темы. Вопросы касающиеся всех. Глобальные угрозы и злободневные темы современности.
Наука и ее развитие. Все о развитии науки, направлениях и перспективах движения научной мысли и знаний.
Новая Цивилизация. Принципы социального устройства новой цивилизации. Увеличение роли созидательного интеллекта... Отдалённые перспективы развития человечества...
Вопросы без ответов. Этот раздел посвящен вопросам и проблемам, которые до сих пор не решены. Предлагайте свои решения.
Военная стратегия и тактика современных боевых действий. Об особенностях современного военного искусства. Проблемные вопросы теории и практики подготовки вооруженных сил к войне, её планирование и ведение в различных конфликтах на планете.
Свернуть Гуманитарные науки и дисциплины
Философские дискуссии. Диспуты по вопросам жизни, сознания, бытия и иных философских понятий.
Экономика. Вопросы по экономике и о путях развития России и других стран.
Социология, Политология, Психология. В этом разделе обсуждаются вопросы, как отдельных частных исследований данных наук, так и проблема соотношения этих наук с остальными.
Образование. Все об образовании: как учить, кому учить, чему учить и кого учить.
Религия и атеизм. Вопросы религий и атеистические взгляды, религиозные споры.

Хотите разместить свою статью или публикацию, чтобы ее читали все?
Как это сделать - узнайте здесь.

Назад

 
О проекте Контакты Архив старого сайта

Copyright © SciTecLibrary © 2000-2017

Агентство научно-технической информации Научно-техническая библиотека SciTecLibrary. Свид. ФС77-20137 от 23.11.2004.