МЕТРИКИ ТЕСТИРОВАНИЯ
Метрики - это критерии для отслеживания эффективности усилий по обеспечению качества.
Критерии могут быть представлены в виде таблиц, графиков или диаграмм. Обычно применяется их комбинация.
Критерии могут быть представлены в виде таблиц, графиков или диаграмм. Обычно применяется их комбинация.
ДЛЯ ЧЕГО НУЖНЫ МЕТРИКИ?
- Оценка прогресса. Если перед нами стоит какая-то задача, которую невозможно выполнить «здесь и сейчас», нам нужен инструмент оценки, чтобы понять, ведут ли наши действия к ожидаемому результату?
- Промежуточные замеры. Есть метрики, показывающие финальный результат, а есть процессные, благодаря которым еще до релиза продукта и до выдачи отчета руководству мы можем определить, движемся ли мы в нужном направлении и что еще нам нужно улучшать.
- Поиск проблем. Проведение аудита и поиск слабых мест. Тут бывают два стандартных сценария: либо мы ищем проблему, которую пока не можем осознать, либо ищем корни и первопричины у известных проблем.
- Числовые обоснования. Презентация и иллюстрация руководству. Через метрики мы можем конструктивно и наглядно обосновать то, что почти невозможно донести на уровне простого общения: потребность в ресурсах, проблемы в разработке, влияние недостающих требований на общий процесс разработки и т.д.
Какие результаты дают МЕТРИКИ?
1) Анализ требований.
2) Покрытие задач тест-кейсами.
3) Сводная по тест-кейсам.
4) Результаты тестирования.
5) Общее количество багов в спринте.
6) Приоритет багов (блокирующий, критичный, высокий, средний, низкий).
7) Статус бага (создан, в анализе, в работе, готов для теста, в тесте, в UAT).
8) Количество новых багов за период с разделением по дням.
9) Количество дефектов по компонентам.
10) Созданные баги vs решенные.
11) Количество багов найденных на проде.
2) Покрытие задач тест-кейсами.
3) Сводная по тест-кейсам.
4) Результаты тестирования.
5) Общее количество багов в спринте.
6) Приоритет багов (блокирующий, критичный, высокий, средний, низкий).
7) Статус бага (создан, в анализе, в работе, готов для теста, в тесте, в UAT).
8) Количество новых багов за период с разделением по дням.
9) Количество дефектов по компонентам.
10) Созданные баги vs решенные.
11) Количество багов найденных на проде.
Анализ требований
Метрика позволяет понять, все ли требования проверены на соответствие критериям: атомарность, завершенность, непротиворечивость, последовательность, недвусмысленность, выполнимость, актуальность.
Требования описываются в Jira в виде Историй и после их анализа выдается соответствующее заключение.
Требования описываются в Jira в виде Историй и после их анализа выдается соответствующее заключение.
Для просмотра результатов метрики воспользуемся Поиском задач с фильтрами по типу: История и статусу: Открытый и Анализ.
Экспортируем метрику на рабочий стол (дашборд) в виде круговой диаграммы с типом статистики «Статус».
Покрытие задач тест-кейсами
- Метрика позволяет увидеть, все ли требования и задачи описаны тест-кейсами.
- Смотрим каждый день, пока идет написание тест-кейсов.
- По отчету можно определить требования и задачи, которые не покрыты тест-кейсами.
Или создавать сразу в Zephyr Scale с привязкой к проекту и задаче.
Отчет по покрытию формируется в расширении Zephyr Scale https://jira.baccasoft.ru/secure/Tests.jspa
Выбираем Отчеты -> Отслеживание -> Матрица отслеживания
Выбираем Отчеты -> Отслеживание -> Матрица отслеживания
Для правильной работы метрики, необходимо прикреплять тест-кейсы к каждой задаче через расширение Zephyr Scale в Jira.
В настройках выбираем направление отслеживания «Epic -> Покрытие -> Тест кейсы» и нажимаем «Сгенерировать».
Сводная по тест-кейсам
- Метрика отображает подробную информацию по тест-кейсам на проекте с группировкой тест-кейсов по статусу, приоритету и создателю.
- Подходит для ежедневного анализа во время активного написания тест-кейсов.
- Позволяет получить информацию о статусе и приоритете тест-кейсов и вовремя их утвердить или отправить на доработку.
Сводная по тест-кейсам формируется в расширении Zephyr Scale https://jira.baccasoft.ru/secure/Tests.jspa
В расширении выбираем Отчеты -> Библиотека тестирования -> Тест-кейсы (свод)
В расширении выбираем Отчеты -> Библиотека тестирования -> Тест-кейсы (свод)
Далее выбираем Проект и нажимаем «Сгенерировать».
Результаты тестирования
- Метрика отображает процентное соотношение еще не запущенных тест-кейсов к проваленным и пройденным.
- Подходит для ежедневного отслеживания прогресса тестирования.
- Позволяет получить информацию о количестве еще не запущенных тест-кейсов и оценить общий прогресс тестирования.
На дашборде необходимо нажать кнопку «Добавить гаджет» и выбрать «Результаты тестирования (прогресс)».
Выбрать проект, доп. настройки и нажать «Сохранить».
Общее количество багов в спринте
- Метрика позволяет увидеть тенденцию на рост или уменьшение количества багов от спринта к спринту.
- Смотрим в конце каждого спринта.
- Чем меньше багов было выявлено при одинаковом покрытии задач тест-кейсами, тем лучше отработала команда.
Для просмотра результатов воспользуемся Поиском задач с фильтром по Багам и Спринту.
Добавим круговую диаграмму с типом статистики «Sprint» на дашборд.
Приоритет багов
- Метрика позволяет получать информацию о количестве багов, которые необходимо устранить в первую очередь.
- Смотрим на результаты метрики каждые полдня – день.
- При выявлении блокирующих или критичных багов, необходимо перебрасывать ресурсы разработки на их устранение.
Для работы метрики, при создании бага указываем его приоритет: блокирующий, критичный, высокий, средний, низкий.
Для сортировки результатов багов по приоритетам воспользуемся Поиском задач с фильтром по Багу и Приоритету.
Экспортируем метрику на рабочий стол в виде круговой диаграммы с типом статистики «Приоритет».
Статус бага
- Метрика позволяет получать информацию о статусе багов и выявить «зависшие» баги.
- Смотрим на результаты метрики каждый день.
- При выявлении «зависших» багов можно своевременно задать вопрос разработчикам о времени его исправления или необходимости дополнительной информации для его анализа.
При работе с багом, двигаем его по этапам согласно рабочего процесса.
Для понимания количества багов с разбивкой по статусам, воспользуемся Поиском задач.
Экспортируем метрику на рабочий стол в виде круговой диаграммы с типом статистики «Статус».
Количество новых багов за период с разделением по дням
- Метрика позволяет получать информацию о ежедневном приросте багов.
- Смотрим на результаты метрики каждый день.
- При выявлении большого количества багов необходимо перекинуть ресурсы разработчиков на их исправление.
В поиске задач выбираем фильтр по типу Баг (ошибка) и спринту.
Экспортируем метрику на рабочий стол в виде диаграммы недавно созданных.
Количество дефектов по компонентам
- Метрика позволяет получать информацию о слабой стороне разработки.
- Смотрим на результаты метрики каждый день.
- При выявлении большого количества багов фронта или бэка, необходимо увеличить ресурсы разработчиков.
При создании дефектов указываем Компонент: Frontend, Backend, Design и т.д.
В Поиске задач выбираем поиск по Багу и Компонентам.
Экспортируем метрику на рабочий стол в виде круговой диаграммы с типом статистики «Компоненты».
Созданные баги vs Решенные
- Метрика позволяет увидеть тренд на этапе стабилизации.
- Смотрим на результаты метрики каждый день.
- Разница между созданными и решенными должна стремиться к нулю.
В Поиске задач выбираем поиск по типу задач (Ошибка).
Экспортируем метрику на рабочий стол в виде диаграммы «Созданные vs Решенные».
Количество багов найденных на проде
- Метрика позволяет оценить качество тест-кейсов.
В Поиске задач выбираем поиск по проекту, багу и затронутой версии (бэк и фронт).
Экспортируем метрику на рабочий стол в виде круговой диаграммы с типом статистики «Обнаружен в версиях».
