Встречаем последнего бета-тестера Microsoft и Windows Vista

C сотнями тысяч сторонних бета-тестеров, работающих с программным обеспечением от Microsoft, очень мало было сказано о проблемах, связанных с процессом бета-тестирования...

Задолго до финального релиза Microsoft отправляет бета-версии своих программных продуктов на тестирование в свои производственные отделы – так называемый процесс "пожирания собачьего корма собственной собаки" – dog-fooding.

Недавно редакция BetaNews встретилась с директором Microsoft по информационным технологиям Роном Маркецих, которого обычно называют "Последним бета-тестером Microsoft". Встреча была организована с целью получить всеобъемлющий взгляд на то, как dog-fooding помогает придать ПО, которое в дальнейшем будет ежедневно использоваться миллионами людей по всему свету, законченный вид.

В качестве CIO (прим. Chief Information Officer – директор по информационным технологиям) Маркецих возглавляет IT-отдел компании Microsoft, который ответственный за управление огромной инфрастуктурой компании, поддерживающей около 63,000 сотрудников по всему миру. Но, возможно, более важно, что его отдел играет жизненно важную роль в разработке различных программных продуктов, путем активного использования данного ПО, нахождения багов и составлению отзывов.
Поиск пользователей для участия во множественных программах бета-тестинга типа Windows Vista не составляет труда – даже Google предлагает большую часть своих утилит в качестве бета-версий. Но бизнес – это совсем другая история. Любое ПО с множеством проблем и ошибок программирования может иметь глобальные последствия в корпоративной сфере.

Microsoft бьется над решением этой дилеммы путем пропаганды использования корпоративного ПО, находящегося в фазе бета-тестирования, выпущенного на основе "go live"-лицензий. Так или иначе, компания выучила единственный способ отстоять свой будущий релиз в глазах потенциальных пользователей – провести внутренний, заключительный этап бета-тестирования. Причем компания призывает к этому своих партнеров
Это стало актуальным в момент релиза Exchange Server 2000. Маркецих считает, что данный программный продукт не был оптимизирован в стенах самой Microsoft, но, тем не менее, был выпущен на рынок. Как результат – настоящий кошмар: пользователи сталкиваются с одними и теми же проблемами, а Microsoft пришлось выпускать множество заплаток.

«С того дня мы зареклись, что не выпустим продукт для корпоративного рынка, пока сами не опробуем его на своем бизнесе» – заявил Маркецих. С того момента программа dog-fooding распространилась на различные продукты Microsoft и сегодня она служит в качестве точки контроля качества на дороге к финальному релизу.

«Мы не просто хотим участвовать в процесс тестирования, но также мы хотим быть полезными в плане отзывов, в разработке дизайна, формирования требований к системе и вообще стать частью жизненного цикла программы» - говорит Маркецих.

В отличие от типичных бета-тестеров, команда Маркециха сможет оказать серьезное влияние на выход программных продуктов. На самом деле, он имеет возможность задержать выход Windows Vista в тиражирование - release to manufacturing (RTM) – при условии, что Vista не выполняет предъявленных к ней требований или ожиданий от нее, которые ранее были установлены разработчиками, как часть процесса dog-fooding.

«Если мы не решим проблемы на данном этапе, команда разработчиков не сможет перейти к новому, и как итого дата RTM будет перенесена. Если RTM будет отложена, мы не сможем позволить выйти финальной версии. Цепная реакция….» – добавляет Маркецих.

Конкретно для Windows Vista команда Маркециха уделяет особое внимание работе BitLocker, корпоративного поиска, процессу аутентификации, защиты доступа к сети и ряду других корпоративно-ориентированных технологий.

«Наш отдел – это продолжение команды разработчиков; у нас есть право отложить выход программных продуктов на рынок».
Процесс dog-fooding начинается с команды разработчиков, использующих приложение с самой ранней стадии – альфа-версии. Затем Microsoft собирает группу бета-тестеров из своих внутренних резервов. Со временем количество сотрудников, тестирующих пререлизные версии ПО значительно увеличивается и охватывает чуть ли не весь личный состав Microsoft.
В ходе бета-тестирования Windows XP Service Pack 2 эта система была установлена на более 60,000 компьютеров компании Microsoft и в этот раз Маркецих ожидает, по крайней мере, столько же. По данным на середину июня уже порядка 16,000 машин компании Microsoft были с установленной Windows Vista Beta 2 и около 25,000 – с установленным Office 2007 Beta 2.

«Для каждого программного продукта у нас есть своя группа dog-fooding, которая управляет ходом тестирования» - говорит Маркецих. "Как только вышла Beta 2, мы сказали: «Люди! Устанавливаем Beta 2!. Как только мы получаем отзывы от пользователей, мы сразу же определяем, какие коррективы необходимо внести в код".

Обычно в промежутке между альфа-версией и RTM выходит порядка 8 билдов. Полная готовность к релизу программного продукта характеризуется выпуском RTM.
Хотя сегодня Маркецих наблюдает за огромным количеством продуктов Microsoft, тестируемых методом dog-fooding одновременно, у него нет проблем с числами: Маркецих с легкостью сказал, что наряду с Vista и Office в Microsoft имеется более 6,000 ящиков Exchange 12 и более 30 серверов Longhorn Server.
Более 1,000 сотрудников Microsoft работают со следующей версией Windows Mobile с кодовым именем "Crossbow" и около 7,000 используют Systems Management Server v4, переименованный в System Center Configuration Manager 2007. Порядка 3,000 компьютеров имеют установленный Microsoft Operations Manager.

Глаза Маркециха засияли, когда его попросили разъяснить преимущества, которые компания Microsoft получила от использования dog-fooding. Не только его команда играет ключевую роль в процессе выявления качества программного обеспечения, но, кроме того, они сами пользуются всеми теми возможностями, которое дарит новое ПО.

«Когда мы готовились к выпуску Exchange 2003, мы перешли от использования 74 сайтов на серверах Exchange к всего 7, используя наши собственные резервы. Сегодня мы вообще используем 4 сайта на сервере Exchange» - объясняет Маркецих. «Тот факт, что я использую dog-fooding означает, что я собираюсь получить максимальный результат в самые короткие сроки».

«Наши сотрудники очень довольны, когда приходят такие крупные волны приложений, требующих использования dog-fooding» – отметил Маркецих. «На самом деле, когда наш сотрудник обнаруживает проблему, мы очень взволнованы, даже если это произошло до RTM».
Основываясь на результатах, полученных при тестировании Exchange, Office и Vista, Microsoft заявила о использовании так называемой "инициативы 7x24". Компания вычислила, что при использовании данных продуктов в течение 24 месяцев сотрудниками компании (прим. для чисел, названных Маркецихом) в компанию возвращается около 7 000 000 человеко-часов. Маркецих говорит, что Microsoft намерена побить данный рекорд и в этот раз сэкономить около 10 000 000 часов.

Но Маркецих соглашается, что не всегда грамотно, когда вы устанавливаете потенциальное проблемное ПО на компьютер рядового сотрудника, у которого есть другая работа, и это проблемное ПО просто будет мешать основной работе.
"Иногда в качестве CIO я выслушиваю гневные речи сотрудников, которые говорят мне: «Ваша программа бета-тестирования не дает мне работать: у меня есть презентация для потенциального покупателя, но я не могу ее закончить из-за проблем с ПО!» Но мы отвечаем: «Вы приносите много пользы компании, обнаружив ошибку, которую быть может нам бы не удалось обнаружить иным способом, и теперь пользователь будет избавлен от подобной проблемы».

Глядя вперед, Маркецих видит все больше и больше программных продуктов, которые могут быть протестированы в стенах компании, но также отмечает, что запуск бета-приложений на ответственных системах (типа серверов) нивелирует все преимущества продукта.
«Жду того дня, когда мы начнем процесс dog-fooding для Xbox» - шутит он, «но пока мы не доросли".

Источник: http://www.betanews.com
Перевод: deeper2k