Введение в технологию Photosynth

Меня зовут Брайан Ресслер, я программный инженер команды PIX Team. Команда PIX ответственна за взаимодействие с изображениями, а также их обработку в Windows Vista...

Кроме того, команда ведет разработку приложения Digital Image Suite. Наша команда включает маленькую подгруппу разработчиков, называемую PIX Labs, чья роль изучать новые технологии, связанные с обработкой изображений, создавать прототипы приложений. Я являюсь инженером PIX Labs и хочу поделиться с вами деталями наших нынешних проектов.

Что такое Photosynth?
Технология Photosynth основана на исследовании, выполненном Ноа Снейвли из Университета Вашингтона и Стивом Зайтцем в стенах исследовательского центра Microsoft. Они придумали и создали прототип системы, с помощью которой коллекция фотографий может быть преобразована в одно трехмерное изображение. Основные идеи технологии были представлены на этой недели в рамках международной конференции SIGGRAPH, посвященной компьютерной графике.



PIX Labs видит приложение Photo Tourism, теперь переименованное в Photosynth, в качестве мощного инструмента для современных фотографов, для зрителей - способа в полной мере насладиться сделанными фотографиями. По этой причине PIX Labs присоединилась к недавно созданному подразделению Live Labs, получившему название Seadragon, чтобы разработать конкурентоспособную технологию, основанную на идее Photo Tourism.

Полученное приложение построит 3D-модель сцены в виде "точечного множества" изображений, полученных с различных точек съемки (маленькие оранжевые пирамидки). Фотографии из коллекции могут быть "спроецированы" на 3D-модель (напоминает слайд-проектор). Из-за построения точечного "скелета" фотографии, при просмотре доступен достаточно простой механизм навигации: к примеру, можно попросить приложение "показать изображение, которое расположено слева по отношению к другому " (стрелки по краям окна приложения) или "показать изображения, которые похожи на другое изображение.

Потому как Photosynth построена на технологии Seadragon, с Photosynth есть возможность масштабирования до достаточно высоких разрешений. Даже если фотография в коллекции сделана 12МП-ным фотокамерой, все сказанное выше остается в силе.



Как это работает?
Для начала нужно несколько фотографий одного и того же объекта, к примеру, какого-то места, объекта или памятника. Фотографии могут быть сделаны одним и тем же фотографом, хотя могут просто набором фотографий, сделанных разными людьми в разное время. Затем изображения обрабатываются программой предварительной обработки, которая выделяет особые "черты" каждой фотографии - особые точки на каждом изображении. На нижеприведенном скриншоте можно видеть принцип, по которому приложение выделяет характерные точки на фотографии



После того, как на всех фотографиях определены характерные точки, препроцессор находит совпадения между всеми имеющимися и уже обработанными изображениями. Входе работы приложение использует технику, названную "structure from motion", чтобы определить пространственное положение каждой из характерных точек. Это также позволяет программе определить в пространстве относительное положение, с которого была снята та или иная фотография.

Точечное множество на первом скриншоте - просто 3D-набор характерных точек всех фотографий коллекции. Это помогает придать неповторимость каждому изображению (скриншот, приведенный ниже, иллюстрирует точечное множество, полученное со многих позиций камеры, и "проекции" с одной из камер, которая показывает сфотографированную часть модели).



Оказывается, что использование данной техники может "извлекать" из коллекции изображений некоторую информацию практически автоматически. И благодаря тому, что ПО знает, как объединить все фотографии вместе, у пользователя появляется возможность навигации вправо, влево, вниз, вверх, есть возможность масштабирования. В результате довольно-таки просто своими силами создать "виртуальный тур" какой-либо достопримечательности, который позволит воссоздать внешний вид той достопримечательности, практически не отличающийся от оригинала. Это реализует мечту "фото-туризма".

Что дальше?
То, что описано в данной статье, - это всего лишь технологическое превью. Мы постараемся в ближайшее время подготовить публичную бета-версию приложения, реализующего эту технологию. Но, что действительно поражает, так это мысли о том, куда может завести нас эта технология.

А что если миллиарды существующих изображений будут объединены в гигантскую Photosynth-коллекцию? Что если каждый сможет побывать в любом месте земного шара благодаря работам других людей, которые бывали в этом месте ранее? Что если каждый сможет путешествовать сквозь время, наблюдая за тем, как меняется это место с течением времени?

Это всего лишь некоторые идеи касательно использования технологии Photosynth. В ближайшее время появятся несколько практических приложений данной технологии. Кто-то сфотографировал памятник адмиралу Нельсону в центре Трафальгарской площади в Лондоне, назвал эту фотографию "Памятник Нельсону" и добавил в раздел "Трафальгарская площадь" коллекции Photosynth. Наше приложение может "видеть" фотографии с памятником Нельсону, все эти фотографии могут автоматически снабжаться мета-данными. Это сделает ваши фотографии более легкодоступными и поэтому более значимыми.

Вот другой пример: вы прогуливаетесь рядом с фонтаном Треви в Риме и поражаетесь большому парню, находящегося в центре фонтана. Вы направляете на него свой телефон с встроенной фотокамерой, делаете снимок и отправляете его на веб-сайт через GPRS. На сервере Photosynth проверяет коллекцию фотографий фонтана Треви, чтобы выявить, что изображено на фотографии. Через несколько секунд на ваш телефон приходит сообщение: "Нептун, бог моря в римской мифологии" и куча ссылок по данной теме.



Надеюсь, что вы разделите мой энтузиазм в отношении данной технологий. Photosynth - простой пример инноваций Microsoft, направленных на создание более функциональных и удобных приложений для рядовых компьютерных пользователей, как я или вы. Будьте в курсе новостей технологии Photosynth на PIX Blog и ее приближающегося технического релиза. Также рекомендую периодически посещать сайт Live Labs Photosynth - там можно увидеть видео о возможностях и работе Photosynth.

Источник: http://www.blogs.msdn.com
Перевод: deeper2k