История мультимедиа в Windows: Media Foundation (ч.1)

Второй этап развития мультимедийных средств Windows, как мы уже знаем, закончился в начале 2000-х годах. Его результатом стало появление новой мультимедийной подсистемы DirectShow и некоторых дополнительных инструментов в её составе, таких, как DMO и DirectShow Editing Services.

Настала пора рассмотреть третий этап, длящийся с начала 2000-х и по наши дни. Данная, третья и последняя, статья цикла будет посвящена именно ему.


1. Что мы имели в начале третьего этапа
Сначала, как обычно, выясним, что мы имели на момент начала третьего этапа и чего нам тогда не хватало.

Windows наконец-то получила мощную, развитую, простую в использовании и способную к расширению мультимедийную подсистему DirectShow. Её достоинства бесспорны.

• Удачная модульная архитектура, основанная на COM.
• Предоставление всех необходимых инструментов для работы с мультимедиа, в том числе его правки и обработки (компонент DirectShow Editing Services).
• Поддержка самых популярных на тот момент форматов файлов и кодирования звука и видео и простые средства расширить список поддерживаемых форматов путём установки соответствующих кодеков (пакетов программ, содержащих различные фильтры DirectShow).
• Простые инструменты для создания мультимедийных приложений, в том числе и фильтров (компонент DMO).
• Использование для вывода звука и видео самых современных средств, как программных (DirectDraw и DirectSound), так и аппаратных (средства рисования графики, оверлей и DXVA 1.0). Благодаря этому обеспечивается максимально быстрый и качественный вывод звука и видео.
• Широкая поддержка сторонними разработчиками.

Неудивительно, что DirectShow быстро вытеснила старые мультимедийные подсистемы - ACM и VfW. На момент выхода Windows XP они уже стали анахронизмом и во вновь создаваемых программах практически не использовались.

Но начиналась заря новой эры - эры видео высокого разрешения. Сможет ли DirectShow оставаться актуальной с её наступлением?

Этому мешали её ключевые недостатки, перечисленные ниже:

• Плохая поддержка систем защиты от копирования, применяющихся как в новых видеодисках Blu-ray Disc и HD DVD, так в потоковом вещании.
• Отсутствие средств распределения приоритетов между различными потоками мультимедийных данных, вследствие чего невозможно было выделить какому-то потоку (например, видео высокого разрешения) больше системных ресурсов, чем другому (скажем, системным звукам).
• Огрехи в реализации DXVA 1.0. Так, все операции с видеоадаптером, поддерживающим эту технологию, выполнялись через фильтр вывода, так что невозможно было, скажем, просто декодировать видео без вывода.
• Вообще, не очень хорошая приспособленность для вывода видео высокого разрешения.

Так что Micrisoft не стала почивать на лаврах и, вместе с разработкой новых версий Windows, стала создавать новую мультимедийную подсистему, которая была бы свободна от перечисленных выше недостатков. Чем это закончилось, мы скоро узнаем.


2. Windows XP Media Center Edition
Но пока суть да дело, на рынке появился новый класс компьютеров - медиацентры. От традиционных компьютеров они отличались следующим:

• Назначением - они предназначались для воспроизведения мультимедиа. Конечно, будучи полноценными компьютерами, они могли использоваться и для других задач - офисной работы, разработки программ, игр и т. п., - но основной их задачей были прослушивание музыки, просмотр фильмов и изображений.
• Позиционированием. Во-первых, они позиционировались как обычная бытовая техника, такая, как телевизоры, проигрыватели Audio CD и DVD-Video. Во-вторых, предполагалось, что покупать их будут неквалифицированные пользователи, мало знакомые с компьютерами или вовсе не умеющие ими пользоваться.
• Техническим оснащением. Поскольку медиацентры позиционировались как мультимедийные компьютеры, важными компонентами их были качественная аудиоподсистема, ТВ-тюнер (по крайней мере, аналоговый) и пульт дистанционного управления. Помимо этого, они были очень компактны и издавали при работе мало шума.

Типичным представителем медиацентров был Antec Fusion V2, показанный на рисунке ниже:

Рис. 1.Медиацентр Antec Fusion V2

Разумеется, Microsoft попыталась "оседлать" новую волну в компьютеростроении. В июле 2002 года вышла особая версия Windows, предназначенная именно для медиацентров. Она носила название Windows XP Media Center Edition.

Рис. 2. Интерфейс Windows XP Media Center Edition

Фактически новая система была не совсем новой и представляла собой обычную Windows XP с некоторыми дополнительными программами.

Самой главной и самой заметной из этих дополнительных программ была оболочка Windows Media Center. Она запускалась сразу после загрузки Windows вместо обычного Проводника. Из этой оболочки пользователь мог воспроизводить музыку и фильмы, диски Audio CD и DVD-Video, просматривать изображения, смотреть и записывать телепередачи, не запуская при этом никаких дополнительных программ. Так что Windows Media Center можно назвать этаким мультимедийным комбайном.

Кроме этого, Windows XP Media Center Edition включала в себя фильтры DirectShow, необходимые для воспроизведения DVD-Video, и программы для работы с ТВ-тюнерами.

Windows XP Media Center Edition не продавалась в розницу. Она распространялась только среди поставщиков готовых медиацентров.

Достоинства Windows XP Media Center Edition: ориентированность на неподготовленных потребителей; все средства для воспроизведения музыки, фильмов, изображений, дисков Audio CD и DVD-Video, просмотра и записи телепередач, как аналоговых, так и цифровых; удобная программная оболочка; поддержка пульта ДУ. Недостатки: отсутствие в розничной продаже; довольно высокие аппаратные требования; малая пригодность для всех прочих задач.

Windows XP Media Center Edition продержалась на рынке год. В 2003 году вышла новая её версия, разговор о которой пойдёт ниже.


3. Video Mixing Renderer 9
А пока что познакомимся с новым фильтром вывода - Video Mixing Renderer 9. Он дебютировал в составе DirectX 9, первая редакция которой была представлена 19 декабря 2002 года. И имел несколько ключевых отличий от своих предшественников.

• Предыдущие фильтры вывода задействовали средства DirectDraw. Однако, начиная с DirectX 9, этот компонент был объявлен устаревшим и нерекомендованным для использования; вместо него для вывода двухмерной графики предлагалось пользоваться другим компонентом DirectX - Direct3D, который также применяется для вывода трёхмерной графики. Новый фильтр вывода работал именно через Direct3D.
• Появилась возможность выводить видео в составе трёхмерной графики. Впрочем, это было полезно только для разработчиков игр.
• Появилась возможность использовать для постобработки видео пиксельные шейдеры DirectX 9. Благодаря этому на видео можно было наложить любой эффект, превратив его в чёрно-белое, создав эффект вдавленности или выпуклости и т. п.
• К сожалению, пропала возможность выполнять прямой вывод видео с устройств, наподобие ТВ-тюнеров.

Из соображений совместимости Video Mixing Renderer 9 не регистрируется в системе как фильтр вывода по умолчанию. Приложения сами должны указывать, что хотят выводить видео через него; так, например, поступает Windows Media Player 9, о котором мы скоро поговорим.

Video Mixing Renderer 9 устанавливается в составе пакета DirectX 9. Этот пакет можно установить как отдельно, так и в составе второго и третьего пакета обновления (SP2 и SP3) для Windows XP и первого пакета обновлений (SP1) для Windows Server 2003 (разговор о ней пойдёт потом).

Достоинства: возможность вывода видео в составе трёхмерной графики; возможность использования шейдеров для постобработки видео. Недостаток - возможны проблемы с некоторыми старыми программами.

Video Mixing Renderer 9 "поселился" в Windows надолго и применяется там до сих пор. Только в Windows Vista его сменил новый фильтр вывода Enhanced Video Renderer, о котором мы обязательно поговорим.


4. Windows Media 9
Теперь рассмотрим очередную версию платформы Windows Media, представленную 27 января 2003 года и носящую номер 9.

4.1. Форматы кодирования звука
Платформа Windows Media 9 принесла, помимо новой версии формата WMA, ещё три новых формата кодирования звука. Рассмотрим их по очереди.

4.1.1. WMA 9
Формат кодирования звука WMA 9 предлагает улучшенное на 20%, по сравнению с WMA 8, качество закодированного звука и поддержку переменного битрейта. Теперь WMA по возможностям полностью соответствовал MP3.

Звук, закодированный в формате WMA 9, можно было воспроизвести в предыдущих версиях Windows Media Player. Microsoft, декларируя обратную совместимость своих форматов кодирования Windows Media, не отступилась от своих слов.

Достоинства WMA 9: самое высокое среди всех версий формата WMA качество звука и обратная совместимость с предыдущими версиями. Недостаток - закрытость.

На данный момент WMA 9 стал последней версией формата WMA. (Надо, впрочем, сказать, что впоследствии вышли ещё две его версии, но они принесли лишь косметическе улучшения.) Хоть Microsoft и объявила от постепенного отказа от своих закрытых форматов в пользу индустриальных стандартов, WMA 9 активно используется для кодирования звука до сих пор.

4.1.2. WMA 9 Pro
Формат кодирования звука WMA 9 Professional, или WMA 9 Pro, был принципиально новой разработкой Microsoft. Если WMA 9 был призван конкурировать с MP3, то WMA 9 Pro замахнулся на форматы, поддерживающие кодирование многоканального звука: AC-3, DTS, AAC.

Давайте рассмотрим его возможности:

• Кодирование с потерями.
• Поддержка до 8 каналов звука.
• Частота дискретизации - от 44,1 до 96 КГц.
• Разрядность - 16 и 24 бит.
• Битрейт - от 128 до 768 Кбит/с.
• Поддержка постоянного и переменного битрейта.

Сообщается, что качество звука, закодированного в WMA 9 Pro с битрейтом 64 Кбит/с, сравнимое с таковым, закодированным с тем же битрейтом в формате AAC, или даже выше. А качество звука, закодированного в формате WMA 9 Pro с битрейтом 768 Кбит/с, сравнимо с таковым у звука DTS при вдвое большем битрейте. Как видим, формат WMA 9 Pro вполне конкурентоспособен.

Достоинства данного формата - отличное качество и поддержка кодирования многоканального звука. Недостатки - отсутствие поддержки низких значений битрейта и закрытость.

Формат WMA 9 Pro существует и поддерживается до сих пор. Правда, не совсем ясна его судьба в свете заявлений Microsoft об ориентации на индустриальные стандарты.

4.1.3. WMA 9 Lossless
Второй принципиально новой разработкой Microsoft стал формат кодирования звука WMA 9 Lossless. В отличие от других форматов семейства WMA, он кодирует звук без потерь.

Вот список его возможностей:

• Кодирование без потерь.
• Поддержка до 6 каналов звука.
• Частота дискретизации - от 8 до 96 КГц.
• Разрядность - 16 и 24 бит.

Microsoft утверждает, что с помощью WMA 9 Lossless можно сжать звук LPCM примерно вдвое.

Ключевое достоинство - высокое качество звука. Недостатки - малая распространённость и закрытость.

Формат WMA 9 Lossless существует и поддерживается до сих пор, хотя, похоже, не получил большого распространения. И перспективы его неясны...

4.1.4. WMA 9 Voice
Третий формат кодирования звука, дебютировавший в семействе WMA 9, - это WMA 9 Voice. Он также является принципиально новой разработкой Microsoft и предназначен для кодирования исключительно речи.

Возможности его таковы:

• Кодирование с потерями.
• Поддержка только одного канала звука (моно).
• Частота дискретизации - 22,05 КГц.
• Разрядность - 8 бит.
• Битрейт - до 20 Кбит/с.
• Поддержка только постоянного битрейта.

Сообщается, что формат WMA 9 Voice обеспечивает до 20% выигрыша в степени сжатия и более высокое качество звука, чем его ближайшие конкуренты.

Достоинства - приемлемое качество звука и высокая степень сжатия. Недостатки - малая распространённость и закрытость.

Несмотря на малую распространённость, этот формат существует и развивается до сих пор. Впрочем, его перспективы также неясны.

4.2. WMV 9
Ещё в составе платформы Windows Media 9 была представлена очередная версия знакомого нам формата кодирования видео WMV. Она именовалась WMV 9.

Список её новшеств впечатляет:

• Более высокое качество видео. Утверждается, что выигрыш в качестве по сравнению с WMV 8 составляет от 15 до 30%.
• Поддержка чересстрочного видео.
• Поддержка размеров кадра вплоть до 1920х1080 пикселов.
• Поддержка частоты кадров вплоть до 60 кадр/с.
• Поддержка значений битрейта вплоть до 135 Мбит/с.
• Поддержка межкадрового сглаживания видео. Видео, закодированное в этом формате, воспроизводится более плавно.

Источники сообщают, что качество видео, закодированного в формате WMV 9 с битрейтом 2 Мбит/с, аналогично качеству видео, закодированного в конкурирующем формате MPEG IV ASP с битрейтом 6 Мбит/с. Даже на низких значениях битрейта WMV 9 выигрывал у своего ближайшего конкурента.

Достоинства: отличное качество видео; поддержка видео высокого разрешения; поддержка межкадрового сглаживания видео. Недостаток всё тот же - закрытость.

Впрочем, оставаться закрытым ему пришлось недолго. В том же 2003 году Microsoft передала спецификации формата WMV 9 международным организациям, отвечающим за стандарты в области мультимедиа. 3 апреля 2006 года он был стандартизирован под наименованием VC-1.

В настоящее время формат WMV 9, или, если угодно, VC-1, имеет весьма широкое распространение. Он применяется для кодирования видео в дисках Blu-ray Disc и HD DVD и покотовом вещании. Так что, в отличие от других форматов кодирования, входящих в платформу Windows Media, его ожидает большое будущее.

4.3. Windows Media Player 9
Новая версия проигрывателя Windows Media Player также получила номер 9 - Windows Media Player 9.

Рис. 3. Windows Media Player 9

Её многочисленные нововведения перечислены ниже:

• Переработанный пользовательский интерфейс.
• "Невидимый" режим, при котором проигрыватель работал в виде элемента Панели задач (только в Windows XP).
• Поддержка форматов WMA 9, WMA 9 Pro, WMA 9 Lossless, WMA 9 Voice и WMV 9.
• Ускоренное и замедленное воспроизведение файлов.
• Поддержка сглаживания видео.
• Улучшенная поддержка DXVA 1.0.
• Поддержка полноэкранной визуализации.
• Воспроизведение файлов с возможностью плавного перехода между ними, сжатия динамического диапазона ("тихий режим") и автоматического выравнивания громкости.
• Поддержка присвоения файлам рейтинга, причём это мог делать как пользователь, так и сам проигрыватель - на основании частоты воспроизведения того или иного файла.
• Поддержка автоматических плейлистов (auto playlists), пополняемых на основании каких-либо критериев, например, рейтинга файлов.
• Выравнивание громкости треков при записи дисков Audio CD.
• Средства для записи файлов на диски CD-ROM.
• Форматирование памяти в портативных устройствах.

Windows Media Player 9 предназначался для Windows 98, 2000, Me и XP. Впоследствии вышла версия для системы Windows Server 2003, появившейся позднее. Он распространялся отдельно и для работы требовал установки DirectX 9 (поскольку использовал новый фильтр вывода Video Mixing Renderer 9). Достоинства данного проигрывателя мы перечислять не будем - они приведены выше.

К сожалению, новая версия Windows Media Player не устранила ни одного из ключевых недостатков предыдущей версии. Так, чтобы воспроизводить на ней диски DVD-Video, требовалось установить фильтр-преобразователь формата MPEG II Video, а для успешного перекодирования Audio CD в формат MP3 - фильтр-преобразователь, поддерживающий кодирование в этот формат. Помимо этого, интерфейс был всё так же громоздок, а системные требования - высоки.

Век Windows Media Player 9 оказался недолгим. Уже в следующем году его сменила новая - десятая - версия, о которой мы поговорим потом.

4.4. Windows Media Encoder 9
Новая версия перекодировщика Microsoft Windows Media Encoder 9 отличалась от предыдущих версий поддержкой новых форматов кодирования - WMA 9, WMA 9 Pro, WMA 9 Lossless, WMA 9 Voice и WMV 9. Помимо этого, она поддерживала кодирование в два прохода и средства для пакетного перекодирования множества файлов.

Windows Media Encoder 9 распространялся отдельно и предназначался для Windows 2000, XP и 2003.

Windows Media Encoder 9 была последней версией данной программы. Впоследствии она была заменена новой программой, называвшейся Expression Encoder.

4.5. Windows Media Services 9
Новая версия сервера потокового вещания Windows Media Services 9 была представлена чуть позже остальных компонентов платформы Windows Media.

Она отличалась, прежде всего, тем, что в ней для передачи файлов использовался протокол RTSP, являющийся индустриальным стандартом. Использовавшийся до этого протокол MMS был объявлен нерекомендуемым к применению, хотя всё ещё поддерживался.

Windows Media Services 9 был включен в состав Windows Server 2003. Другие операционные системы этого семейства не поддерживались.


5. Windows Server 2003
Все предыдущие версии Windows, основанные на ядре NT, выходили в двух редакциях: клиентской и серверной. (Серверная редакция Windows 2000, в свою очередь, включала несколько отдельных версий, предназначенных для серверов различного масштаба.) Таким образом Microsoft пыталась максимально унифицировать процесс разработки и сопровождения своих систем.

Однако после выхода Windows 2000 было принято решение разделить клиентские и серверные операционные системы на две независимые ветки. Так, Windows XP была исключительно клиентской системой; её серверной версии просто не существовало.

Напротив, Windows Server 2003, вышедшая 24 апреля 2003 года, была исключительно серверной.

Рис. 4. Интерфейс Windows Server 2003

Все её нововведения можно разделить на две части. Во-первых, она получила все возможности, появившиеся в Windows XP (новый интерфейс, новая графическая подсистема GDI+, новые мультимедийные и сетевые компоненты и пр.). Во-вторых, в ней были представлены новые и улучшенные инструменты, характерные для серверных систем.

Впрочем, ничего интересного для нас, поклонником мультимедиа, в ней не было. Конечно, если не считать Windows Media Services 9, о котором уже говорилось ранее.

Windows Server 2003 воцарилась на рынке на два года. В 2005-м её сменит обновлённая редакция - Windows Server 2003 R2.


6. Windows XP Media Center Edition 2004
В сентябре 2003 года вышла новая версия операционной системы Microsoft, предназначенной для медиацентров, - Windows XP Media Center Edition 2004.

Рис. 5. Интерфейс Windows XP Media Center Edition 2004

Она была основана на Windows XP с установленным вторым пакетом обновления (SP2). Никаких новых мультимедийных возможностей она не принесла.

Windows XP Media Center Edition 2004 также "прожила" всего год. Вообще, системы этого семейства не отличались "долгожительством"...


7. MP4 version 2
В 2003 году организация MPEG представила вторую версию формата файлов MP4. Она носила название MP4 version 2 и описывалась в документе MPEG IV Part 14.

Список нововведений второй версии MP4 невелик. Во-первых, улучшенные средства для хранения в файле, помимо видео, звука и субтитров, всяческих сторонних данных. В частности, появилась возможность хранить в мультимедийном файле целые приложения, написанные на языке Java (не иначе, разработчики этого формата вдохновлялись предварительными спецификациями стандарта Blu-ray Disc). Во-вторых, была переработана структура самих файлов с целью придать формату большую гибкость.

После выхода MP4 version 2 первая версия этого формата была объявлена устаревшей и нерекомендованной к использованию.

Файлы MP4 version 2 могут иметь те же самые расширения, что и файлы первой версии этого формата. Помимо этого, они ещё могут иметь расширение mp42, говорящее о том, что данный файл сохранён именно в формате MP4 version 2.

Формат MP4 version 2 активно используется до сих пор, в основном, для потоковых трансляций и в мобильных устройствах. Иногда встречаются фильмы, сохранённые в этом формате.


8. MPEG IV AVC
Ещё в 2003 году произошло знаковое событие, давшее немалый толчок развитию видео, в том числе и высокого разрешения. Организация MPEG представила новый формат кодирования видео - MPEG IV AVC (Advanced Video Coding), более известный под своим неофициальным наименованием H.264. Его описывает документ MPEG IV Part 10.

Формат MPEG IV AVC изначально разрабатывался как универсальный, подходящий для кодирования как видео с небольшими размерами кадра, предназначенного для потокового вещания и воспроизведения на мобильных устройствах, так и видео высокого разрешения.

Список возможностей нового формата таков:

• Кодирование с потерями.
• Кодирование как прогрессивного, так и чересстрочного видео.
• Размер кадра - от 128х96 до 4096х2304 пикселов.
• Частота кадров - от 7,5 до 120,5 кадр/с.
• Битрейт - до 960000 Кбит/с (немало, однако...).
• Поддержка как постоянного, так и переменного битрейта.

Формат MPEG IV AVC включает большой набор уровней и профилей. Комбинируя их, можно получить "на выходе" видео с нужными параметрами.

Достоинства: великолепное качество видео при небольших значениях битрейта; высокая степень сжатия; возможность кодирования видео с различными параметрами. Основной недостаток - высокая потребность в системных ресурсах вследствие того, что алгоритм кодирования крайне сложен.

MPEG IV AVC - один из наиболее востребованных ныне форматов кодирования видео. Он используется в дисках Blu-ray Disc и HD DVD, мобильных устройствах, потоковых трансляциях и интернет-видео HTML5. Также часто можно встретить фильмы, в том числе и высокого разрешения, видео в которых закодировано в этом формате.


9. ISO base media file format
На этом стандартотворческая деятельность MPEG не закончилась.
В 2004 году эта организация приняла попытку хоть как-то упорядочить имеющийся на тот момент "зоопарк" различных, не совместимых друг с другом, открытых и закрытых форматов мультимедийных файлов. Она передала свой формат MP4 version 2 международным организациям, ведающим стандартами в различных областях. Результатом стало появление общего формата файлов с длинным названием ISO base media file format.

Этот формат определяет основные структуры, позволяющие хранить в мультимедийном файле различные дорожки с видео, звуком, субтитрами и прочими данными, которые могут быть использованы приложением (например, меню). Помимо этого, он задаёт стандартные средства для расширения своих возможностей; сторонние разработчики могут воспользоваться ими, дабы "заточить" данный формат под свои нужды.

Предполагалось, что ISO base media file format станет основой для более специализированных форматов файлов, которые, тем не менее, останутся, в основном, совместимыми друг с другом и смогут обрабатываться одними и теми же программами.

Жизнь, правда, распорядилась по-своему. "Зоопарк" форматов никуда не делся; ISO base media file format и основанные на нём форматы не смогли вытеснить ни AVI, ни MPEG Program Stream, ни MPEG Transport Stream, ни многочисленные закрытые разработки, наподобие ASF. Самым популярным форматом файлов, основанным на ISO base media file format, остался MP4; также существуют несколько специализированных форматов, сфера применения которых ограничена.


Использованные материалы

• Википедия (англ.)
• Happy Birthday, Windows XP Media Center Edition!
• DirectShow Filters
• Windows Media 9 Series reviewed
• Windows Media Player 9 (Windows XP)
• Nathan's Toasty Technology page
• Windows XP Media Center Edition 2004 Review
• MPEG-4 File Format, Version 2
• MPEG-4 Systems General Issues
• SoundExpert: Encoders 192 kbit/s
• dBpoweramp Codec Central: Windows Media Audio
• xpost: Difference between Windows Media Audio 9.1 and 9
• Download Windows Media Player 10
• Microsoft Windows XP Media Center Edition 2005 powers the all-in-one PC...
• Es mi primer post digan sugerencias para el proximo
• What is Blu-ray Disc and HD DVD?
• BDP-S1: Blu-ray Disc Player
• New Windows Media Audio 10 Pro
• Brothersoft.jp: Windows Media Player 11
• Vista: Aero
• Windows Movie Maker Installer 1.0
• Expression Encoder v1.0 is released! (and what's new)
• What's New in Windows Media Services 2008
• What’s new in Expression Encoder 3
• Microsoft Windows 7
• What's new in Expression Encoder 4 Service Pack 1 (SP1)
• What's new in Expression Encoder 4 Service Pack 2 (SP2)
• Windows 8: We’ll See More Multimedia Features and Places
• Matroska FAQ
• Matroska Specifications
• SSA/ASS Subtitles

Продолжение следует...