Файл: Федеральное государственное автономное образовательное учреждение высшего образования казанский (приволжский) федеральный университет высшая школа информационных технологий и информационных систем.docx

3. Измерение производительности персонала

Показатель производительности персонала будет рассматриваться одновременно для этапов планирования тестирования и тест-дизайна.

Измерение производительности персонала помогает улучшить самоотдачу тестировщиков по отношению к качеству процесса тестирования. Трудно понять, как улучшить уровень производительности. Существует мнение, что производительность можно улучшить, если привлечь большее число людей к этому процессу. Это верно для других отраслей производства, но сложно совместимо с разработкой программного обеспечения. Как правило, здесь ситуация может развиться кардинально другим образом и даже ухудшить производительность. Однако, для тестирования может быть по-другому. Если система тестирования хорошо разработана, то новый инженер-тестировщик способен за несколько недель влиться в команду. Производительность - это сопоставление результатов и исходных данных. С точки зрения программного обеспечения, производительность – это отношение размера результата и приложенных усилий, то есть, согласно [11]¹⁰⁰:

Производительность = Размер / Трудозатраты.

Вышеупомянутое уравнение скрывает трудности, связанные с измерением размеров и трудозатрат. Разработчик программного обеспечения является более продуктивным в один день, чем в другой. Аналогичным образом трудозатраты должны рассчитывать для остального персонала. Мера Размер также скрывает истинное значение производительности, так как производительность должна быть измерена в свете выгоды, которую приносит, а не как размер. Нет никакого смысла быть производительным при разработке бесполезного продукта. Еще одна проблема, связанная с уравнением производительности, это то, что разработка программного обеспечения - творческая деятельность, подразумевающая множество вариаций.

Поэтому нужна мера производительности, которая имеет более непосредственное отношение к качеству или полезности [11]. Таким образом, уравнение производительности не следует использовать в качестве единственной меры расчета личной продуктивности.

Тем не менее, данная формула обеспечивает простоту и удобство расчета для выполнения различных статистических анализов.

Правильное планирование, проектирование, выполнение и сбор результатов являются важными факторами

---

, способствующими успеху тестирования. Даже если процесс тестирования совершенен и стратегия идеальна, но уровень производительности тестовой команды снижается, то это влияет на возможность обнаружения дефекта и скорее всего недостатки в тестировании будут обнаружены слишком поздно.

Базовые и полезные метрики для измерения производительности тестировщиков:

• 
  время, отведенное на планирование тестирования;
  
• 
  время, отведенное на разработку Тест-кейсов;
  
• 
  число разработанных Тест-кейсов;
  
• 
  число разработанных Тест-кейсов за единицу времени.
  

Важно классифицировать действия, которые составляют этапы планирования тестирования и тест-дизайна. Другой подход – это рассмотрение показателей, которые производятся как части этапа проектирования планирования тестирования. Время, необходимое для каждого показателя должно быть связано с его качеством, чтобы прийти к истинным показателям производительности.

Оценка производительности тестировщика - это сложная и часто субъективная задача [7]¹⁰¹. Производительность тестировщика следует оценивать в контексте обязанностей, задач, графиков и стандартов. Тестировщики должны соблюдать стандарты и процедуры, придерживаться графиков, достигать целей и выполнять поставленные задачи, а также соблюдать бюджет [7]. После того, как эти требования установлены, работа команды тестирования должна быть сравнена с установленными целями, задачами и графиками. Есть некоторые моменты, которые необходимо иметь в виду при оценке производительности:

• 
  тестировщиком может быть специалист в предметной области или технический специалист, специализирующийся в области использования автоматизированных средств;
  
• 
  тестировщик может быть новичком или опытным;
  
• 
  уровень тестирования определяет различные виды деятельности, которые должны выполняться на этом определенном уровне, поэтому рассмотрение уровня тестирования важно для оценки производительности на этом уровне;
  
• 
  при измерении следует учитывать тип тестирования.
  

Ниже предлагается ряд вопросов, которые должны быть заданы при оценке процедур для тестирования функциональности:

---

• 
  Соответствуют ли шаги в тестовой процедуре требуемым шагам?
  
• 
  Являются ли входные данные, шаги, ожидаемый результат корректными?
  
• 
  Применена ли аналитика для создания эффективных сценариев тестирования?
  
• 
  Были ли соблюдены стандарты создания тестовой процедуры?
  
• 
  Сколько изменений пришлось осуществить недопонимания, пока процедура не стала эффективной и полной?
  
• 
  Были ли эффективные методы тестирования были использованы для получения соответствующего набора тестов?
  

В [40]¹⁰² излагаются некоторые идеи для оценки качества тестировщика: 

• 
  есть области, в которых некоторые люди разбираются лучше, чем другие. Необходимо определить таланты в команде тестирования и использовать их в пользу проекта. Например, если один человек создает лучший план тестирования, а другой лучше в разработке тестовых примеров, то будет весьма непродуктивно переводить их в другой вид деятельности, не соответствующий их умениям;
  
• 
  очень трудно сравнивать ожидаемые результаты производительности тестировщиков из-за различных сопутствующих факторов. Поэтому наблюдение за деятельностью инженеров имеет более важное значение, чем сравнение ожидаемых результатов;
  
• 
  производительность тестировщика изменяется в зависимости от технологии;
  
• 
  возможности тестировщика не всегда очевидны.
  

Оценка производительности отдельных тестировщиков многомерна, качественно измеряема и рассчитывается на основе разных индивидуальных факторов. Основными источниками информации в этом случае не являются числовые значения, а конкретные показатели.

Результат исследования показателя представлен в виде таблицы 24:

Таблица 20. Показатель "Измерение производительности персонала"

Свойство показателя	Показатель
Цель показателя	Оценить эффективность и уровень производительности тестировщиков
Польза показателя	Помогает повысить самоотдачу команды тестирования
Пример измерения производительности	Оценка производительности тестировщика - это сложная и часто субъективная задача. Базовые метрики: Время, отведенное на планирование тестирования Время, отведенное на разработку Тест-кейсов Число разработанных Тест-кейсов Число разработанный Тест-кейсов за единицу времени
Ограничения показателя	Производительность тестировщика следует оценивать в контексте обязанностей, задач, графиков и стандартов.
	Работа команды тестирования должна быть сравнена с установленными целями, задачами и графиками.
	Опыт, уровень тестирования, тип тестирования и технологии должны быть учтены при оценке производительности.

---

2. 1   ...   13   14   15   16   17   18   19   20   ...   31

---

Метрики для оценки качества тестирования

К категории «Качество» тестирования относятся следующие показатели:

• 
  эффективность тест-кейсов;
  
• 
  достижение поставленных целей;
  
• 
  полнота тестов.
  

1. Измерение эффективности Тест-кейсов

Простое выполнение тестовых примеров не является доказательством того, что система адекватно протестирована. Неправильно оценивать эффективность Тест-кейсов, когда система уже выпущена. Необходима оценка в процессе, чтобы ошибки были идентифицированы и скорректированы еще до выпуска.

Спецификации тестовых случаев должны быть проверены в конце этапа проектирования тестов на соответствие требованиям. При проверке технических характеристик существуют факторы, которые влияют на эффективность тестов, включая разработку тестовых примеров с неполными функциональными характеристиками, плохой дизайн и неправильная интерпретация тестировщиками [41]¹⁰³.

Общие методы, доступные для проверки технических характеристик тестового случая, включают в себя осмотр на соответствие тестов спецификации испытаний к функциональным характеристикам. Эти методы редко помогают улучшению способности обнаружения неисправностей тестовых примеров спецификаций. Поэтому спецификации тестовых примеров проверяются путем определения, насколько эффективными были тесты в исполнении. Простая метрика проверки эффективности теста - это отношение ошибок, найденных при помощи Тест-кейса к общему числу дефектов.

Эффективность Тест-кейса = (Дефекты, найденные при помощи Тест-кейса / общее число зарегистрированных неисправностей) * 100%

Для каждого проекта есть базовое значение, которое может быть использовано для сравнения значения эффективности тестового примера. Если эффективность теста ниже базовой величины, это является показателем того, что процесс тестирования нуждается в улучшении. Эффективность теста может быть улучшена за счет улучшения общего процесса тестирования. Улучшение подхода заключается в анализе ошибок, которые были найдены потребителями после релиза продукта. Этот подход состоит из пяти шагов, начиная с необходимости понять и документировать процесс тестирования. Процесс тестирования, как правило, состоит из планирования, проектирования тестов, подготовки и выполнения тестов, оценки тестов и улучшения [41]

---