Project Catapult - будущее поисковой системы Microsoft

Инженеры Microsoft работают над проектом "Катапульта" (Project Catapult), который использует массивы, программируемые пользователем (field-programmable arrays, FPGAs), которые Microsoft адаптирует под нужды своего поискового ПО Bing. Новый проект должен способствовать более быстрому поиску и может быть использован и в других проектах корпорации.

С использованием FPGA, инженеры Microsoft создают то, что сами называют "супер-поисковой сетью машин", которая называется "Катапульта". Сеть содержит 1632 сервера, каждый из которых обладает процессором Intel Xeon и дочерней картой с чипом Altera FPGA. Все серверы связаны в единую сеть, которая так и называется - Catapult. Для операций и алгоритмов Bing эти чипы в 40 раз быстрее обычных процессоров.

Система получает запросы от Bing, отгружает их в FPGA, которые запрограммированы на тяжелую рассчетную работу. Другими словами, FPGA должны разобраться какие же страницы попадут в выдачу и в каком порядке. Катапульта объединяет FPGA в небольшие сети из 8 чипов, что увеличивает производительность. Это действительно полезно, ведь алгоритмы поискового движка Microsoft требуют много процессорной мощности.

Журналисты из сетевого издания Wired указали на значительное преимущество данной схемы. "После десятилетий регулярного прироста производительности, чипы перестали улучшаться с такой же скоростью, как они делали это раньше. С ростом веб-сервисов компании ищут возможности улучшить показатели скорости и эффективности и без этого массивных операций" - цитата из официального блога Wired.

Пока с сетью бывают неполадки, но Microsoft уверена в том, что новый метод может быть использован и в других сервисах корпорации. "Если бы все, что мы делали было бы улучшение Bing, наврятли я бы получил разрешение начальства потратить такое количество денег на такой проект", говорит Питер Ли, глава подразделения Microsoft Research. "Архитектура Сatapult довольно универсальна, и все те вычислительные операции, которые Даг Бергер (Doug Berger), возглавляющий проект "Catapult", представляет себе, могут быть значительно ускорены при использовании Catapult не только в поисковых системах, но и во множестве систем других отраслей".

Внедрение проекта в системы стартует в начале следующего года и мы вскоре сможем увидеть насколько же повлияет "Катапульта" на скорость поиска Bing.

Источник: http://www.winbeta.org/