Файл: Федеральное государственное автономное образовательное учреждение высшего образования казанский (приволжский) федеральный университет высшая школа информационных технологий и информационных систем.docx

Метрики для показателей этапа тест-дизайна

Как было отмечено ранее, показатели этапа тест-дизайна можно разделить на 5 категорий: прогресс, качество, размер, стоимость, стратегия.

1. Метрики для оценки прогресса тестирования

К данной категории относятся следующие показатели этапа тест-дизайна:

• 
  отслеживание прогресса тестирования;
  
• 
  отслеживание ошибок;
  
• 
  производительность тестировщиков.
  

1. Отслеживание прогресса тестирования и статуса тестирования

Отслеживание прогресса тестирования рассматривается здесь в сочетании с мониторингом статуса тестирования этапа планирования тестирования.

Статус тестирования должен контролироваться и управляться в соответствии с планом тестирования для каждого проекта. Контроль и мониторинг - это управление инженерной деятельностью, которое, как ожидается, должно выполняться профессиональными разработчиками программного обеспечения. Мониторинг сравнивает фактическую работу с той, которая была запланирована, а контроль разрабатывает и применяет действия, которые выполняются на проекте при отклонениях [25]⁹⁴. Мониторинг и контроль действия дополняют друг друга в том смысле, что отклонения от планирования определяются путем мониторинга и контроль реализует корректирующие действия для противодействия отклонениям. Контроль нацелен на достижение целей проекта.

Этапы тестирования запланированы в графике тест-плана. Каждый этап планируется завершить в течение определенного периода времени. Эти этапы могут быть использованы тест-менеджером, чтобы следить за прогрессом тестирования. Например, выполнение всех запланированных тестов системы является одним из примеров этапов тестирования. Этот этап должен быть завершен в течение времени, определенного в графике тестирования. Измерения должны быть доступны для сравнения планового и фактического прогресса в течение тестирования. Активность в процессе может быть проиллюстрирована с использованием графиков, которые отображают тенденции на протяжении выбранного периода времени.

---

Отслеживание статуса тестирования помогает тест-менеджеру ответить на следующие вопросы [25]⁹⁵:

• 
  Какие задачи выполнены вовремя?
  
• 
  Какие были завершены раньше, чем было запланировано, и на сколько?
  
• 
  Какие отстают от графика, и на сколько?
  
• 
  Были ли запланированные этапы выполнены?
  
• 
  Какие этапы отстают от графика, и на сколько?
  

Для мониторинга покрытия на уровне тестирования системы полезны следующие измерения [25]:

• 
  число требований или функций, которые будут проверены;
  
• 
  число классов эквивалентности;
  
• 
  число покрытых классов эквивалентности;
  
• 
  число покрытых требований или функций;
  
• 
  отношение покрытых функций к общему числу функций.
  

Для контроля за разработкой тестов на уровне тестирования системы полезны следующие измерения [25]:

• 
  количество запланированных тестовых случаев;
  
• 
  количество доступных тестов;
  
• 
  количество незапланированных тестовых случаев.
  

Кривая тестового прогресса сравнивает прогресс с планом, чтобы задать корректировки, если тестирование отстает от графика. Преимущество этой кривой является в том, что отклонение графика трудно не заметить. Кривая прогресса показывает следующий набор информации на одном графике [22]⁹⁶:

• 
  планируемое количество тестов, которые будут успешно завершены за неделю;
  
• 
  количество тестовых случаев, пройденных за неделю;
  
• 
  количество тестовых случаев, успешно завершенных за неделю.
  

Кроме того, кривая тестового прогресса может быть использована для сравнения между собой релизов продукта или различных проектов.

Отчет о статусе тестирования может быть выдан в следующей форме, как указано в таблице 20 [4]⁹⁷:

Таблица 16. Пример отчета о статусе тестирования

Протестиро-ванная функция	Общее количест-во тестов	Число завершен-ных тестов	Процент завершен-ных тестов	Число успешно завершен-ных тестов	Процент успешно завершен-ных тестов
…	…	…	…	…	…

---

Согласно [34]⁹⁸, стоимость этапа оценивается в конце или в середине этапа, чтобы предсказать будет ли превышение бюджета. Если расходы превышают первоначальный план, то должны быть приняты соответствующие меры: запрос финансов от менеджеров или уведомление клиента о превышении бюджета. Чтобы следить за бюджетом, необходимо время от времени проводить совещания, где каждый будет отчитываться о проделанной работе, чтобы тест-менеджер смог предсказать расходы, если деятельность не будет завершена вовремя. Для мониторинга бюджета может быть использована следующая таблица 21:

Таблица 17. Пример отчета для мониторинга бюджета

Вид деятельности	Запланированный бюджет	Текущие затраты	Отклонение	Отклонение(%)
…	…	…	…	…

В результате рассуждений и исследований можно составить следующую итоговую таблицу 22:

Таблица 18. Показатель "Отслеживание прогресса тестирования и статуса тестирования"

Свойство показателя	Показатель
Цель	Отслеживать статус и прогресс тестирования
Польза показателя	Помогает проследить за бюджетом и графиком тестирования
	Помогает внести коррективы, если график и бюджет отклоняются от плана
Ограничения	Мониторинг прогресса зависит от этапов, определенных в тест-плане
	Разработка кривой прогресса зависит от временной доступности данных о запланированных, пройденных и успешно пройденных тест-кейсах
	Составление отчета о статусе тестирования зависит от измерений, примененных каждым тестировщиком, поэтому здесь могут быть несоответствия

---

2. 1   ...   12   13   14   15   16   17   18   19   ...   31

---

Отслеживание Бэклога

Большое количество неисправленных дефектов перед запуском тестирования будет негативно влиять на ход тестирования. Если команда разработчиков исправляет накопившиеся ошибки в одно время с проведением тестирования, то есть вероятность, что дефекты будут заведены повторно. Если разработчики будут заняты исправлением отложенных ошибок, то у них не будет времени на исправление новых. Поэтому сокращение числа дефектов в Бэклоге не должно мешать тестированию, когда оно является основной деятельностью. Тестирование должно выявить так много ошибок, сколько возможно, а разработчики должны быть сосредоточены на исправлении критичных ошибок, которые мешают более широкому охвату тестирования. Когда тестирование близко к завершению, фокус может перейти на сокращение числа ошибок в Бэклоге. Бэклог ошибок содержит дефекты, которые были отложены для исправления в последующих релизах. Также есть дефекты, которые не исправлены из-за нехватки ресурсов. Накапливание старых дефектов может стать серьезной проблемой для тестирования.

Число дефектов должно измеряться для сравнения между релизами [22]⁹⁹. Сокращение числа дефектов столь же важно, как и расставление дефектов по приоритету. В связи с этим, экспертиза отделов тестирования и разработки играет значительную роль при решении, какие дефекты должны быть исправлены, чтобы достичь стабильности системы.

В результате исследования показателя получаем следующую таблицу 23:

Таблица 19. Показатель "Отслеживание Бэклога"

Свойство показателя	Показатель
Цель	Выявить число ошибок, которые остаются нерешенными
Польза показателя	Помогает определить влияние Бэклога ошибок на процесс тестирования
	Помогает планировать уменьшение Бэклога
Измерение с течением времени	Сокращение числа дефектов в Бэклоге не должно мешать тестированию, когда оно является основной деятельностью
	Число дефектов должно измеряться для сравнения между релизами
	При сокращении Бэклога требуется расставить приоритеты на исправление

---