Запишите в чем заключается представление видеоинформации

Представление видеоинформации

Кодирование векторных изображений

Векторное изображение представляет собой совокупность графических примитивов (точка, отрезок, эллипс…). Каждый примитив описывается математическими формулами. Кодирование зависит от прикладной среды.

Достоинством векторной графики является то, что файлы, хранящие векторные графические изображения, имеют сравнительно небольшой объем.

Важно также, что векторные графические изображения могут быть увеличены или уменьшены без потери качества.

Графические форматы файлов

Форматы графических файлов определяют способ хранения информации в файле (растровый или векторный), а также форму хранения информации (используемый алгоритм сжатия). Наиболее популярные растровые форматы:

Bit MaP image (BMP) – универсальный формат растровых графических файлов, используется в операционной системе Windows. Этот формат поддерживается многими графическими редакторами, в том числе редактором Paint. Рекомендуется для хранения и обмена данными с другими приложениями.

Tagged Image File Format (TIFF) – формат растровых графических файлов, поддерживается всеми основными графическими редакторами и компьютерными платформами. Включает в себя алгоритм сжатия без потерь информации. Используется для обмена документами между различными программами. Рекомендуется для использования при работе с издательскими системами.

Graphics Interchange Format (GIF) – формат растровых графических файлов, поддерживается приложениями для различных операционных систем. Включает алгоритм сжатия без потерь информации, позволяющий уменьшить объем файла в несколько раз. Рекомендуется для хранения изображений, создаваемых программным путем (диаграмм, графиков и так далее) и рисунков (типа аппликации) с ограниченным количеством цветов (до 256). Используется для размещения графических изображений на Web-страницах в Интернете.

Portable Network Graphic (PNG) – формат растровых графических файлов, аналогичный формату GIF. Рекомендуется для размещения графических изображений на Web-страницах в Интернете.

Joint Photographic Expert Group (JPEG) – формат растровых графических файлов, который реализует эффективный алгоритм сжатия (метод JPEG) для отсканированных фотографий и иллюстраций. Алгоритм сжатия позволяет уменьшить объем файла в десятки раз, однако приводит к необратимой потере части информации. Поддерживается приложениями для различных операционных систем. Используется для размещения графических изображений на Web-страницах в Интернете.

Двоичное кодирование звука

Использование компьютера для обработки звука началось позднее, нежели чисел, текстов и графики.

Звук – волна с непрерывно изменяющейся амплитудой и частотой. Чем больше амплитуда, тем он громче для человека, чем больше частота, тем выше тон.

Звуковые сигналы в окружающем нас мире необычайно разнообразны. Сложные непрерывные сигналы можно с достаточной точностью представлять в виде суммы некоторого числа простейших синусоидальных колебаний.

Причем каждое слагаемое, то есть каждая синусоида, может быть точно задана некоторым набором числовых параметров – амплитуды, фазы и частоты, которые можно рассматривать как код звука в некоторый момент времени.

В процессе кодирования звукового сигнала производится его временная дискретизация– непрерывная волна разбивается на отдельные маленькие временные участки и для каждого такого участка устанавливается определенная величина амплитуды.

Таким образом непрерывная зависимость амплитуды сигнала от времени заменяется на дискретную последовательность уровней громкости.

Каждому уровню громкости присваивается его код. Чем большее количество уровней громкости будет выделено в процессе кодирования, тем большее количество информации будет нести значение каждого уровня и тем более качественным будет звучание.

Качество двоичного кодирования звука определяется глубиной кодирования и частотой дискретизации.

Частота дискретизации – количество измерений уровня сигнала в единицу времени.

Количество уровней громкости определяет глубину кодирования. Современные звуковые карты обеспечивают 16-битную глубину кодирования звука. При этом количество уровней громкости равно N = 216 = 65536.

Представление видеоинформации

В последнее время компьютер все чаще используется для работы с видеоинформацией. Простейшей такой работой является просмотр кинофильмов и видеоклипов. Следует четко представлять, что обработка видеоинформации требует очень высокого быстродействия компьютерной системы.

Что представляет собой фильм с точки зрения информатики? Прежде всего, это сочетание звуковой и графической информации. Кроме того, для создания на экране эффекта движения используется дискретная по своей сути технология быстрой смены статических картинок. Исследования показали, что если за одну секунду сменяется более 10-12 кадров, то человеческий глаз воспринимает изменения на них как непрерывные.

Казалось бы, если проблемы кодирования статической графики и звука решены, то сохранить видеоизображение уже не составит труда. Но это только на первый взгляд, поскольку, как показывает разобранный выше пример, при использовании традиционных методов сохранения информации электронная версия фильма получится слишком большой. Достаточно очевидное усовершенствование состоит в том, чтобы первый кадр запомнить целиком (в литературе его принято называть ключевым), а в следующих сохранять лишь отличия от начального кадра (разностные кадры).

Существует множество различных форматов представления видеоданных.

В среде Windows, например, уже более 10 лет (начиная с версии 3.1) применяется формат Video for Windows, базирующийся на универсальных файлах с расширением AVI (Audio Video Interleave – чередование аудио и видео).

Более универсальным является мультимедийный формат Quick Time, первоначально возникший на компьютерах Apple.

Задание

Задание 1. Используя таблицу символов, записать последовательность десятичных числовых кодов в кодировке Windows для своих ФИО, названия улицы, по которой проживаете. Таблица символов отображается в редакторе MS Word с помощью команды: вкладка Вставка>Символ>Другие символы. В поле Шрифт выбираете Times New Roman, в поле из выбираете кириллица. Например, для буквы «А» (русской заглавной) код знака– 192.

1) Используя стандартную программу БЛОКНОТ, определить, какая фраза в кодировке Windows задана последовательностью числовых кодов и продолжить код. Запустить БЛОКНОТ. С помощью дополнительной цифровой клавиатуры при нажатой клавише ALT ввести код, отпустить клавишу ALT. В документе появиться соответствующий символ.

Источник

Краткий конспект к уроку “Представление видеоинформации”

Когда говорят о видеозаписи, прежде всего имеют в виду движущееся изображение на экране телевизора или монитора.

Преобразование оптического изображения в последовательность электрических сигналов осуществляется видеокамерой. Эти сигналы несут информацию о яркости и цвете отдельных участков изображения. Они сохраняются на носителе в виде изменения намагниченности видеоленты (аналоговая форма) или в виде последовательности кодовых комбинаций электрических импульсов (цифровая форма).

Процесс превращения непрерывного сигнала в набор кодовых слов называется аналого-цифровым преобразованием .

Это сложный процесс, состоящий из:

По своей сути видеофайл — это набор статичных изображений, меняющих друг друга с определенной частотой. Каждое статичное изображение является отдельным кадром видео. Это действительно так, если мы говорим о несжатом видео. Однако в таком формате никто не хранит фильмы.

Дело в том, что несжатое видео занимает на диске очень много места. Кадр видео формата PAL состоит из 720 точек по горизонтали и 576 по вертикали. То есть один кадр состоит из 414720 точек.

Для хранения цвета каждой точки в памяти отводится 24 бита (по 8 бит для каждой из составляющих RGB).

Следовательно, для хранения одного кадра понадобится 9953280 бит (или примерно 1,2 Мбайт).

То есть секунда несжатого видео в формате PAL будет занимать почти 30 Мбайт. А один час такого видео — более 100 Гбайт.

Каким же образом полнометражный фильм (а то и несколько) умещается на одном компакт-диске или флеш-накопителе?

Дело в том, что, в основном, видео хранят в видеофайлах, в которых применены различные алгоритмы сжатия информации. Благодаря этим технологиям видеофайл можно сжимать в десятки и сотни раз практически без потери качества картинки и звука.

AVI ( A udio V ideo I nterleave) — это контейнерный формат, что означает, что в нём могут содержаться аудио/видео, сжатые различными комбинациями кодирования.

Контейнер — это файл с каким либо расширением, служащий для хранения в цифровом виде преобразованной аналоговой информации. Контейнер является файлом некоего стандарта, в котором одновременно может содержаться несколько различных типов информации.

MPEG ( M oving P icture E xpert G roup) — формат, предназначенный для сжатия звуковых и видеофайлов для загрузки или пересылки, например, через Интернет.

Источник

Представление видеоинформации в памяти компьютера

Представление видеоинформации в памяти компьютера.

В последнее время компьютер все чаще используется для работы с видеоинформацией. Простейшим примером является просмотр кинофильмов и видеоклипов, а также многочисленные видеоигры.

Действующий в Северной Америке, Канаде, Японии, Мексике и некоторых других странах, стандарт NTSC использует приблизительно 30 кадров (точнее 30000/1001) в секунду, что связано со значением частоты переменного тока электрической сети. Разрешение экрана для этого стандарта составляет 720х480 пикселей.

Традиционный кадр на кинопленке выглядел так, как показано на рис.1. Основную его часть занимает изображение, а справа сбоку отчетливо видны колебания на звуковой дорожке. Имеющаяся по обоим краям пленки периодическая система отверстий (перфорация) служила для механической протяжки ленты в киноаппарате с помощью специального механизма.

При использовании традиционных методов сохранения в памяти компьютера графической и звуковой информации электронная версия фильма получится слишком большой. Например, для хранения 1 секунды видеоизображения без звука с разрешением 1024 ´ 768 пикселей и 16-битном кодировании цвета потребуется: 24 ´ 1024 ´ 768 ´ 16 бит = 301989888 бит = 36 МБ, а для записи двухчасового фильма без звука 2 ´ 60мин ´ 60сек ´ 36 МБ » 253 ГБ.

Следовательно, если для остальных видов информации сжатие лишь повышает удобство работы, то для работы с видеоинформацией использование технологии сжатия жизненно необходимо.

Для эффективного сжатия видеоинформации используют технологию ключевых и разностных кадров. Первый кадр хранится целиком (в литературе его принято называть ключевым), а в следующих сохраняются лишь отличия от начального кадра (разностные кадры).

Для разноцветных предметов произвольной формы эффект сохранится, хотя изобразить его будет заметно труднее. рис 2

Регулярное чередование ключевых и разностных кадров позволяет удалять избыточность видеоизображения, связанную со слабым отличием соседних кадров. В современных методах сохранения движущихся видеоизображений используются и другие типы кадров.

Файл представляет собой единый блок, причем в него, как и в любой другой блок, могут быть вложены новые блоки. Идентификатор блока определяет тип информации, которая хранится в блоке.

Таким образом, все AVI-файлы только внешне выглядят одинаково, а внутри могут различаться очень существенно.

Еще более универсальным является мультимедийный формат Quick Time, первоначально возникший на компьютерах Apple. По сравнению с описанным выше, он позволяет хранить независимые фрагменты данных, причем даже не имеющие общей временной синхронизации, как этого требует AVI. В результате в одном файле может, например, храниться песня, текст с ее словами, нотная запись в MIDI-формате, способная управлять синтезатором, и т. п. Мощной особенностью Quick Time является возможность формировать изображение на новой дорожке путем ссылок на кадры, имеющиеся на других дорожках. Полученная таким способом дорожка оказывается несоизмеримо меньше, чем если бы на нее были скопированы требуемые кадры. Благодаря описанной возможности файл подобного типа легко может содержать не только полную высококачественную версию видеофильма, но и специальным образом “упрощенную” копию для медленных компьютеров, а также рекламный ролик, представляющий собой “выжимку” из полной версии. И все это без особого увеличения объема по сравнению с полной копией.

Все большее распространение в последнее время получают системы сжатия видеоизображений, допускающие некоторые незаметные для глаза искажения изображения с целью повышения степени сжатия. Наиболее известным стандартом подобного класса служит MPEG (Motion Picture Expert Group), который разработан и постоянно развивается созданным в 1988 году Комитетом (группой экспертов) международной организации ISO/IEC (International Standards Organization/International Electrotechnical Commission) по стандартам высококачественного сжатия движущихся изображений.

Методы, применяемые в MPEG, непросты для понимания и опираются на достаточно сложную математику. Укажем лишь наиболее общие приемы, за счет которых достигается сжатие:

1) обрабатываемый сигнал из RGB-представления с равноправными компонентами преобразуется в YUV-представление (яркость и две “координаты” цветности). Как показывают эксперименты, цветовые компоненты менее важны для восприятия и их можно проредить вдвое.

3) специальными методами (в том числе и методом ключевых и разностных кадров) ликвидируется сильная избыточность информации, связанная со слабыми отличиями между соседними кадрами.

4) полученные в результате всех описанных процедур данные дополнительно сжимаются общепринятыми методами, подобно тому, как это делается при архивации файлов (например, с использованием алгоритма Хаффмана).

Важной характеристикой для сжатия видео является параметр Data Rate (величина потока – количество бит для записи 1 секунды видеоинформации). Чем этот параметр больше, тем выше качество, но и размер сжатого файла будет больше. Data Rate измеряется в битах (или байтах) в секунду. В VideoCD величина потока постоянна и равна 1150 килобит/с. Поток приблизительно можно оценить, если разделить размер видеофайла на его длительность (при этом не учитывается звуковой поток).

Такой подход позволяет легко адаптировать новые технологии, как только те становятся доступными. Замещаемые кодеки хороши как для пользователей, так и для разработчиков программного обеспечения. Тем не менее, большое разнообразие кодеков создает определенные трудности для производителей видеопродукции. Часто в качестве выхода из создавшегося положения необходимые кодеки помещают на компакт-диск с фильмами или даже поставляют видеоматериалы в нескольких вариантах, предоставляя тем самым возможность выбрать подходящий. Все больше распространяется автоматизация распознавания, когда плейер, обнаружив информацию об отсутствующем кодеке, загружает его из Интернета.

MPEG-3 – стандарт предназначался для телевидения высокой чёткости HDTV(high-defenition television) со скоростью потока данных 20-40 Мбит/с, но позже стал частью стандарта Mpeg2 и теперь отдельно не упоминается.

Для просмотра видео в формате HD, нужно иметь соответствующее оборудование (например, ЖК или плазменный телевизор с большой диагональю, иначе оценить качество видео будет невозможно).

Форматы видео, которые применяются в Интернете:

Файлы в формате FLV можно просматривать в большинстве операционных систем, поскольку он использует широко распространённый Adobe Flash и плагины к большинству браузеров, а также поддерживается многими программами для воспроизведения видео, например, MPlayer, VLC media player, Media Player Classic) и другими программами, работающими с помощью DirectShow.

Источник

Принципы цифрового представления видео и мультимедийной информации.

Принципы цифрового представления видео и мультимедийной информации.

Когда говорят о видеозаписи, прежде всего имеют в виду движущееся изображение на экране телевизора или монитора.

Преобразование оптического изображения в последовательность электрических сигналов осуществляется видеокамерой. Эти сигналы несут информацию о яркости и цвете отдельных участков изображения. Они сохраняются на носителе в виде изменения намагниченности видеоленты (аналоговая форма) или в виде последовательности кодовых комбинаций электрических импульсов (цифровая форма).

Процесс превращения непрерывного сигнала в набор кодовых слов называется аналого-цифровым преобразованием.

Это сложный процесс, состоящий из:

— дискретизации, когда непрерывный сигнал заменяется последовательностью мгновенных значений через равные промежутки времени;

— квантования, когда величина каждого отсчёта заменяется округлённым значением ближайшего уровня;

— кодирования, когда каждому значению уровней квантования, полученных на предыдущем этапе, сопоставляются их порядковые номера в двоичном виде.

По своей сути видеофайл — это набор статичных изображений, меняющих друг друга с определенной частотой. Каждое статичное изображение является отдельным кадром видео. Это действительно так, если мы говорим о несжатом видео. Однако в таком формате никто не хранит фильмы.

Дело в том, что несжатое видео занимает на диске очень много места. Кадр видео формата PAL состоит из 720 точек по горизонтали и 576 по вертикали. То есть один кадр состоит из 414720 точек.

Для хранения цвета каждой точки в памяти отводится 24 бита (по 8 бит для каждой из составляющих RGB).

Следовательно, для хранения одного кадра понадобится 9953280 бит (или примерно 1,2 Мбайт).

То есть секунда несжатого видео в формате PAL будет занимать почти 30 Мбайт. А один час такого видео — более 100Гбайт.

Каким же образом полнометражный фильм (а то и несколько) умещается на одном компакт-диске или флеш-накопителе?

Дело в том, что, в основном, видео хранят в видеофайлах, в которых применены различные алгоритмы сжатия информации. Благодаря этим технологиям видеофайл можно сжимать в десятки и сотни раз практически без потери качества картинки и звука.

При работе с цифровым видеосигналом возникает необходимость обработки, передачи и хранения очень больших объемов информации. На современных носителях, таких, как компакт-диск (CD-ROM, 650 Мбайт) или жесткий диск (порядка тысячи мегабайт), сохранить полноценный по времени видеоролик, записанный в поэлементном формате, не удается. С другой стороны, видеоинформация должна передаваться со cкоростью ее воспроизведения на экране компьютера. Так, полноцветное (24 бит/пиксел) изображение размером 720 × 576 пикселов из расчета 25 кадр/с требует скорости передачи видеоданных 240 Мбит/с. Однако пропускная способность каналов ЛВС FDDI — порядка 100-200 Мбит/с, а Ethernet — всего 10 Мбит/с. Поэтому использование видеоданных в составе электронных изданий оказывается невозможным.

Развитие технологий перевода видеоинформации в цифровой формат и их дальнейшее применение в цифровом ТВ поставили проблему сжатия видеоданных в ряд наиболее важных. Ее положительное решение оказалось возможным лишь на базе разработки эффективных методов и алгоритмов сжатия видеоданных.

Следует отметить, что традиционные алгоритмы сжатия данных без потерь здесь практически неприменимы, поскольку дают для реальной видеоинформации слишком незначительный выигрыш. Например, алгоритмы, основанные на компрессии за счет кодирования длинами серий и адресно-позиционного кодирования (RLE, LZ, LZW и т. п.), не дают должного эффекта.

Для покадрового сжатия видеоданных можно использовать алгоритмы компрессии статической графики — сжатие с потерями (JPEG). При этом восстановленное изображение кадра, как правило, не совпадает с оригиналом. Однако реализация таких алгоритмов достаточно сложна и процессы декодирования требуют значительных затрат времени. Видеоинформация накладывает специфические ограничения на скорость декодирования данных: декодер (аппаратно-программное средство, осуществляющее декомпрессию данных) должен успевать разархивировать изображение за 1/25 с, пока на экране отображается предыдущий кадр. Данное ограничение не дает возможности реализовать алгоритмы с большей степенью сжатия.

Еще одно ограничение — сложность аппаратной реализации декодирующих устройств. В реальных приложениях (цифровые видеокамеры, видеотелефоны, видеофоны и т.д.) оптимальным решением проблемы оказывается реализация алгоритма на заказном наборе микросхем с ограниченным числом транзисторов в чипе. Поэтому реализация подобных быстродействующих декодирующих аппаратно-программных устройств не всегда возможна.

Реальным решением проблемы стало сжатие всего видеоряда, включающего последовательность видеокадров.

Стандартным методом цифрового кодирования на компьютере является PCM (Pulse Code Modulation). Наиболее популярным форматом, используемым для хранения несжатых аудиоданных, является Microsoft PCM (WAV). Для видеороликов стандартным для компьютера считается Microsoft Audio/Video Interleaved (AVI). Сжатие аудио- или видеоданных как процесс подразумевает конвертацию соответственно несжатого WAV- или AVI- файла в другой формат с использованием алгоритма сжатия (поэтому программы для компрессии/декомпрессии данных называют конверторами). При этом может быть использован любой формат (даже WAV и AVI), если он поддерживает этот алгоритм.

Важную роль в решении проблемы сжатия видеоданных сыграли результаты, полученные группой комитета по стандартизации MPEG (Motion Pictures Experts Group). Эта группа предложила технологию компактного представления цифровых видео- и аудиосигналов. Основная идея заключалась в преобразовании потока дискретных цифровых данных в поток некоторых записей, которые требовали меньшего объема памяти. Это преобразование основано на использовании статистической избыточности и особенностях человеческого восприятия. Закодированные независимо аудио- и видеопотоки в дальнейшем связываются системным потоком, который осуществляет синхронизацию и объединение множества потоков различных данных в одну кодовую последовательность.

Разработанный этой группой метод сжатия и соответствующие форматы семейства MPEG унаследовали многое в своей структуре от JPEG. Однако противоположность графическим форматам MPEG использовал кодирование отличий последующих кадров от некоторых опорных изображений кадров. В 1990 г. был создан формат MPEG-1, который ориентировался на сжатие видео- и аудиоинформации.

После разработки первого стандарта на сжатие видео- и аудиоинформации эта же группа создала формат и соответствующую технологию, ориентированную на применение к видеоданным с более высоким разрешением и потокам, в том числе для эффективного представления видеоинформации вещательного качества (SDTV — Standard Definition Television). Эффективное представление чересстрочной развертки (вещательного) видеосигнала оказалось более сложной задачей, чем прямые (не чересстрочные) сигналы, определенные MPEG-1. MPEG-2 ввел схему декорреляции многоканального дискретного аудиосигнала объемного звука, используя более высокий фактор избыточности.

В дальнейшем были созданы форматы MPEG-3, MPEG-4, MPEG-7, MPEG-J.

Сегодня MPEG — единый формат представления данных спецификации United States Grand Alliance HDTV, группы European Digital Video Broadcasting и Digital Versital Disc (DVD).

Экспертная группа по мультимедиа и гипермедиа MHEG (Multimedia Hypermedia Expert Group) определила стандарт для обмена мультимедийными объектами (видео, звук, текст и другие произвольные данные) между приложениями и передачи их разными способами (локальная сеть, сети телекоммуникаций и вещания) с использованием MHEG object classes. Этот стандарт позволил программным объектам включать в себя любую систему кодирования (например, MPEG), которая определена в базовом приложении. MHEG был принят советом по цифровому видео и звуку (DAVIC — Digital Audio-Visual Council). MHEG-объекты создаются мультимедийными приложениями.

Считается, что MHEG — будущий международный стандарт для интерактивного TV, так как он работает на любых платформах и его документация свободно распространяема.

Наряду с указанными стандартными форматами имеется конечное множество форматов кодирования видео- и аудиоинформации, предложенных фирмами, производящими различные программные приложения. К ним можно отнести: формат RealAudio, разработанный фирмой RealNetworks, для хранения сжатых голосовых аудиоданных (речи); формат аудиоданных SoundVQ, разработанный компанией Yamaha; формат Windows Media Technology 4.0, представленный фирмой Microsoft, поддерживает потоковую передачу данных в Internet и имеет продвинутую систему сжатия аудио- и видеоданных; формат QuickTime фирмы Apple был разработан для использования в мультимедийных приложениях на компьютерах Macintosh и т.п.

В данной главе представлен материал по наиболее популярным форматам и методам сжатия видео- и аудиоинформации.

Источник