Использование статистики для принятия решений

Здравствуйте, меня зовут Питер, и я работаю в команде Office Trustworthy Computing (TWC). Одним из направлений работы моей команды является сбор данных о том, как используются различные приложения, чтобы мы смогли принимать обоснованные решения. Вы, наверное, видели, и скорее всего уже использовали наш инструмент обратной связи Send-A-Smile. В дополнение к этому виду качественной обратной связи, последние 3 версии Office включали телеметрию по Программе улучшения качества (CEIP), чтобы помочь нам понять, какие приложения используются. Сочетание качественных и количественных данных дает ценную информацию для принятия обоснованных решений в дизайне.

Что такое программа по улучшению качества?

Вкратце, CEIP это анонимная добровольная программа, которая поможет нам улучшить Office. Если Вы соглашаетесь на CEIP, анонимные данные о том, как вы используете Office, отправляются в Microsoft время от времени в фоновом режиме.

При запуске приложений Office 2010 в первый раз, когда вас спросят о том, какие настройки вы хотите применить, чтобы "помочь защитить и улучшить Microsoft Office", CEIP включено в рекомендуемые параметры. Вы также можете это найти в Параметрах конфиденциальности Центра Доверия. В предыдущих версиях, это было размещено в "Помогите сделать Office лучше", который всплывал в первый раз, когда вы запустили Office.



Конечно, мы уважаем вашу конфиденциальность и не собираем информацию, которая могла бы идентифицировать вас или ваши личные данные. Ваши анонимные данные в сочетании с данными миллионов других пользователей помогают предоставить нам полную картину того, как люди используют Office.

Что мы собираем?

Мы собираем много информации о наших приложениях, слишком много, чтобы перечислить в своем блоге. Инженерные группы определили точки данных, в каких они заинтересованы в изучении и добавили их к программному обеспечение для сбора данных. Как правило, они относятся к следующим категориям:

• Использование. Наибольшая часть информации подпадает под эту категорию, и говорит нам, как используется программное обеспечение. Некоторая часть из собранной информации, включает в себя команды, которые находятся на ленте, общее использование функций, действий, предпринятых в мастерах, и др. Это позволяет нам ответить на общие вопросы типа "Сколько пользователей делает X" и "Как часто происходит X ', а также конкретные вопросы типа "Сколько рисунков содержат документы или какой средний размер документа Word.

• Надежность и производительность. Мы хотим убедиться, что наше программное обеспечение работает как и ожидалось, и имеет столько информации, сколько необходимо. Например, для оценки надежности разработчики включили в код средство, что скажет нам, когда есть логические несоответствия (например, то, что ожидалось, но не произошло), - знание, как часто это происходит помогает нам сконцентрироваться на улучшении продукта в будущем. В случае эффективности, мы ожидаем, что приложения запускаться быстро и быстро открывает документы - сбор базовых данных, как размер документа и время загрузки позволяет проверить, насколько хорошо мы справляемся.

•Конфигурации программного и аппаратного обеспечения. Какое аппаратное обеспечение установлено, и то как люди настроили различные офисные приложения, позволяет нам интерпретировать эти данные путем создания окружающей среды. Например, если мы видим медленное время загрузки документа, произойдет ли это только на машинах с малым объемом ОЗУ или определенной частотой процессора? Как характеристики графической карта влияют на переходы в PowerPoint? Как использование отличаться на разных языках и локализациях?

Команда TWC осуществляет экспертизу и руководство по применению различных групп приложений, чтобы получить высокое качество телеметрии по их конкретному использованию. Поскольку мы получаем более миллиарда сессий в месяц, мы в значительной степени зависим от агрегирования данных и предоставляем несколько утилит для анализов и отчетов, чтобы такие группы могли получить доступ к данным легче, когда они хотят знать, как их клиенты используют свое программное обеспечение.

Как мы используем данные?

Прежде чем иметь дело с данными от клиента, участвующего в программе улучшения качества, дизайнерские решения довольно часто принимались на основе консультаций людей, которые работали на продукте в течение длительного времени или личных наблюдений, скажем, в семье. Если вам повезло, у вас есть некоторые данные от исследователей из Office Design Group, или исследований, проведенных группой планирования. Были данные, только от ограниченных выборкой пользователей, редко данные от реальных пользователей, проделывающих реальную работу. На протяжении разработки Office 2003, команды Office начали опираться на данные CEIP, чтобы лучше понять, насколько реально пользователи используют офисные приложения. С каждым новым релизом, наш инструментарий вырастал и позволял лучше понимать и оценивать данные.

Для многих дизайнерских решений Office 2010, мы использовали эти данные, чтобы ответить на вопросы, как на самом деле клиенты используют приложения. Чтобы привести пример, возьмем вопрос о том, как лента должна быть расположена, когда пользователи были в той или иной целевой группе PowerPoint - обсуждение было основано на том, какие из пользователей могут выяснить, как запустить слайд-шоу. У нас есть несколько различных точек входа для запуска слайд-шоу и инструмент для составления отчетов показал, как часто использовалось каждое.



На основании имени команды и ее ID, мы знаем, что 65,9% показов происходят не на ленте, но значительное число пользователей (25,6%) нажимают на показ лентой. Мы можем зайти еще дальше и увидеть, что подавляющее большинство пользователей использует доступ к слайд-шоу через команду на строке состояния, вместо использования горячих клавиш.



Хотя процесс разработки включает в себя больше, чем просто данные, этот пример показывает, как ваше участие в программе улучшения качества может заменить мнения и анекдоты "экспертов". Знания о фактическом использовании, являются чрезвычайно ценными и в конечном итоге помагают нам в принятии разумных решений и создании лучшего продукта.

В будущих постах мы предоставим вам обзор других механизмов обратной связи, которые мы используем для улучшения продукта, таких, как отчеты об ошибках, чтобы найти и исправить проблемы надежности, а также в инструменты для сбора данных по производительности и гибкости вопросов.

Источник: http://blogs.technet.com/office2010/
Перевод: Really Fenix