Анализ отчётов об ошибках Windows Vista

В понедельник вечером, я писал отчёт об ошибке, связанной с тестированием Vista, когда я заметил новую функцию на Connect. Их последний релиз сделал возможным показ обратной связи несколькими путями...

Так что я начал читать список недавно пришедших ошибок, и оставлял комментарии. Я просматривал список, и был очень удивлён анализу статистике обо всех ошибках в Windows Vista/

Итак, я окунулся в приключение... Я запустил Excel 2007, и начал копировать и вставлять все ошибки с Connect'a на новую таблицу. Всего было 100 ошибок на одну из 287 страниц. Воспользуйтесь математикой. Нет, подождите, я уже сделал это за вас.

Превосходная идея превратилась в утомительное занятие. Вы видите, как бы не был крут этот список, но это не изменило тот факт, что Connect это плохо написанное приложение. Извините ребята. Я знаю, что есть команда, вложившая всю свою душу и сердце, чтобы это сотворить, и я знаю, что я вам мешаю, как мошка. Кто бы этого ни сделал, но он не владеет ASP.NET, это же видно. Страничная система для списка просто ужасна. Работают только кнопки "Назад" и "Вперёд"; нет таких как "В начало" и "В конец". У страниц нет номеров, нажав на которые можно перейти на соответствующую. Чтобы мне возвратится на самую первую страницу, мне приходится тратить 60 минут. Если я поставлю 100 пунктов на страницу списка ошибок, то среднее время загрузки каждой - 9 секунд. На этой скорости, вы можете просмотреть только 6 страниц за минуту. Если вы начали со страницы 120, вы потратите 20 минут на то, чтобы вернуться обратно.

За четыре с половиной часа (!), я скопировал все ошибки в таблицу. Затем, после использования некорректных идентификаторов, для удаления повторений, и использования неверных заголовков, для того чтобы удалить другие повторы (Excel 2007 нашёл 1072 повторов в системе), я использовал PivotTables и PivotChart для анализа данных. Вот что выяснилось:

Ошибки Windows Vista (данные 3 Июля 2006):

Всё ещё актуальны: 5743
Закрыты: 20176
Решены: 1020
Суммарно: 27479



Я был удивлён, что около 20000 ошибок были пока-что закрыты. Я и не ожидал, что их будет такое количество. Также обратите внимание, что 1/5 всех ошибок всё ещё актуальна. Но, Microsoft закрывает ошибки очень быстро, 250 из них были выявлены только два месяца назад. Ну и, наконец, 150 появились в системе недавно, но некоторые уже были исправлены или закрыты.

Данные были интересные, но их было недостаточно. Я видел ужасающий список ошибок на прошлой неделе, когда вышел June CTP на Connect. Я захотел увидеть, сколько ошибок было в предыдущих сборках. Так что я создал PivoChart, для того чтобы составить статистику. В ней я использовал даты выходов сборок c http://hive.net/Member/blogs/the_insider/articles/15619.aspx. Все публичные обозначены их CTP именами, TAP и промежуточные лишь по номеру сборки.



Все за исключением утекшей TAP сборки 5259, имеют множество найденных ошибок. Когда я скопировал ошибки в лист, я заметил, что множество из них каждый раз повторяются через три заголовка. После удаления повторов (а их было почти 400), 5259 стал иметь наименьшее количество найденных ошибок.

Из этих данных я вычислил, что в среднем тестеры отправляли отчёты о 81 ошибке. Ну и несколько других заключений по графику. Самые интересные

1. Microsoft выпускала новые сборки примерно каждые 6 недель, за исключением задержки между Декабрьским и Февральским CTP.
2. В первые 24 часа выпуска сборки, тестеры нашли по-крайней мере 200 ошибок. Это означает, что тестеры очень быстро отправляют отчёты.
3. 5270 стала первой сборкой, в которой найдено больше 300 ошибок в первый день.
4. Темп нахождения ошибок принял существенный объём с Beta 2 (за исключением 3 июня), и поднялся ещё больше, когда CPP-программа стала доступной

Большая часть ошибок была в системе пост-Beta 2. Это означает, что у Microsoft всё ещё много работы. Хотя среднее число ошибок 81 в день, с 1 мая их количество увеличивается, не уменьшаясь, приближаясь к 200. Количество отчётов просто поражает это значит, точ люди определённо ждали Beta 2. Всё это проиллюстрировано на графике снизу.



Взгляните и вы поймёте, что количество ошибок повышается с каждой сборкой. Но я не думаю, что это правильное предположение. Я не думаю, что в них много ошибок, просто сейчас много людей с доступом к сборкам. И инструмент отправки отчётов в Microsoft не позволяет пользователям искать уже найденные ошибки перед тем как отправить свой отчёт, так что трудно сказать количество сообщений с различными заголовками, но описывающие одну и ту же ошибку.

Даже в этом случае, конечная картина далека от совершенства. Данные вызывают много вопросов, никто не захочет на них отвечать. Например:
Из-за Connect не показывает даты закрытия ошибок на итоговых страницах, невозможно делать их более детальный анализ, например возраст ошибок или время закрытия. Важный фактор в определении успеха программы, это знать количество ошибок, которое закрываются каждый месяц.
Статус закрытия у Microsoft не позволяет анализ более высокого уровня, например повторы ошибок или количество решённых. Далее, очевидно, Microsoft не видит разницы между закрытыми и решёнными ошибками. Закрытый значит, не мог, быть воспроизведён разработчиком, решённый значит исправленный, всего не воспроизведённых около 4/5 всех отправленных ошибок, это не хорошо.
Connect не связан с базой данных Microsoft. Мы не знаем, сколько всего ошибок в системе.
Microsoft имеет достаточно функциональности для приёма отчётов об ошибках, которая автоматизирует процесс отправки данных о неисправности. Я знаю, что если у меня произошел сбой, я обычно не регистрирую ошибку, так как знаю, что о ней уже знают.

Я уверен, что Microsoft имеет более подробные данные относительно этого (если нет, я бы был очень счастлив, помочь), но я сомневаюсь, что они будут способны ответить на мои вопросы публично (хотя это будет чертовски круто, если это свершится). Microsoft должна встроить инструменты для отправки отчётов в Connect, доступные тестерам, чтобы можно было легко получать информацию без каких-либо трудностей.

В завершение, этот анализ показал, что потребители всё более активны на последних сборках Windows Vista, но не понятно как Microsoft отвечает на отправленные ошибки. Мне не нужны числа чтобы расказать о том, что сборки становятся лучше. 5456 - огромный шаг вперёд по качеству сборок. И если бы я знал всю функциональность PivotTable в Excel 2007, возможно я опубликовал бы побольше диаграмм, которые я создал, основываясь на собранных данных.

Этот анализ, показывает, что Microsoft ищет что-то среднее между открытой и закрытой исходной моделью... Это доказывает, что компания становится всё более раскрытой и вовлекает много клиентов, но при это удерживает контроль над исходным кодом.

Если бы только каждая команда из Microsoft имела свою личную базу данных ошибок...

Источник: http://longhornblogs.com
Перевод: Flahorn