Файл: Федеральное государственное автономное образовательное учреждение высшего образования казанский (приволжский) федеральный университет высшая школа информационных технологий и информационных систем.docx
ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 12.01.2024
Просмотров: 433
Скачиваний: 1
СОДЕРЖАНИЕ
Роль тестирования в процессе разработки
Фазы жизненного цикла тестирования программного обеспечения
Измерения в процессе тестирования. Польза измерений
Польза измерений при тестировании программного обеспечения
Показатели, характеризующие стоимость тестирования
Показатели, характеризующие стратегию тестирования
Метрики для этапа планирования тестирования
Метрики для показателей этапа тест-дизайна
Метрики для оценки качества тестирования
Метрики для оценки стоимости тестирования
Метрики для оценки объема тестирования
Метрики для оценки стратегии тестирования
Измерение комбинаций техник тестирования
Оценка адекватности тестовых данных
Польза и правила применения метрик в процессе тестирования
-
Измерение производительности персонала
Показатель производительности персонала будет рассматриваться одновременно для этапов планирования тестирования и тест-дизайна.
Измерение производительности персонала помогает улучшить самоотдачу тестировщиков по отношению к качеству процесса тестирования. Трудно понять, как улучшить уровень производительности. Существует мнение, что производительность можно улучшить, если привлечь большее число людей к этому процессу. Это верно для других отраслей производства, но сложно совместимо с разработкой программного обеспечения. Как правило, здесь ситуация может развиться кардинально другим образом и даже ухудшить производительность. Однако, для тестирования может быть по-другому. Если система тестирования хорошо разработана, то новый инженер-тестировщик способен за несколько недель влиться в команду. Производительность - это сопоставление результатов и исходных данных. С точки зрения программного обеспечения, производительность – это отношение размера результата и приложенных усилий, то есть, согласно [11]100:
Производительность = Размер / Трудозатраты.
Вышеупомянутое уравнение скрывает трудности, связанные с измерением размеров и трудозатрат. Разработчик программного обеспечения является более продуктивным в один день, чем в другой. Аналогичным образом трудозатраты должны рассчитывать для остального персонала. Мера Размер также скрывает истинное значение производительности, так как производительность должна быть измерена в свете выгоды, которую приносит, а не как размер. Нет никакого смысла быть производительным при разработке бесполезного продукта. Еще одна проблема, связанная с уравнением производительности, это то, что разработка программного обеспечения - творческая деятельность, подразумевающая множество вариаций.
Поэтому нужна мера производительности, которая имеет более непосредственное отношение к качеству или полезности [11]. Таким образом, уравнение производительности не следует использовать в качестве единственной меры расчета личной продуктивности.
Тем не менее, данная формула обеспечивает простоту и удобство расчета для выполнения различных статистических анализов.
Правильное планирование, проектирование, выполнение и сбор результатов являются важными факторами
, способствующими успеху тестирования. Даже если процесс тестирования совершенен и стратегия идеальна, но уровень производительности тестовой команды снижается, то это влияет на возможность обнаружения дефекта и скорее всего недостатки в тестировании будут обнаружены слишком поздно.
Базовые и полезные метрики для измерения производительности тестировщиков:
-
время, отведенное на планирование тестирования; -
время, отведенное на разработку Тест-кейсов; -
число разработанных Тест-кейсов; -
число разработанных Тест-кейсов за единицу времени.
Важно классифицировать действия, которые составляют этапы планирования тестирования и тест-дизайна. Другой подход – это рассмотрение показателей, которые производятся как части этапа проектирования планирования тестирования. Время, необходимое для каждого показателя должно быть связано с его качеством, чтобы прийти к истинным показателям производительности.
Оценка производительности тестировщика - это сложная и часто субъективная задача [7]101. Производительность тестировщика следует оценивать в контексте обязанностей, задач, графиков и стандартов. Тестировщики должны соблюдать стандарты и процедуры, придерживаться графиков, достигать целей и выполнять поставленные задачи, а также соблюдать бюджет [7]. После того, как эти требования установлены, работа команды тестирования должна быть сравнена с установленными целями, задачами и графиками. Есть некоторые моменты, которые необходимо иметь в виду при оценке производительности:
-
тестировщиком может быть специалист в предметной области или технический специалист, специализирующийся в области использования автоматизированных средств; -
тестировщик может быть новичком или опытным; -
уровень тестирования определяет различные виды деятельности, которые должны выполняться на этом определенном уровне, поэтому рассмотрение уровня тестирования важно для оценки производительности на этом уровне; -
при измерении следует учитывать тип тестирования.
Ниже предлагается ряд вопросов, которые должны быть заданы при оценке процедур для тестирования функциональности:
-
Соответствуют ли шаги в тестовой процедуре требуемым шагам? -
Являются ли входные данные, шаги, ожидаемый результат корректными? -
Применена ли аналитика для создания эффективных сценариев тестирования? -
Были ли соблюдены стандарты создания тестовой процедуры? -
Сколько изменений пришлось осуществить недопонимания, пока процедура не стала эффективной и полной? -
Были ли эффективные методы тестирования были использованы для получения соответствующего набора тестов?
В [40]102 излагаются некоторые идеи для оценки качества тестировщика:
-
есть области, в которых некоторые люди разбираются лучше, чем другие. Необходимо определить таланты в команде тестирования и использовать их в пользу проекта. Например, если один человек создает лучший план тестирования, а другой лучше в разработке тестовых примеров, то будет весьма непродуктивно переводить их в другой вид деятельности, не соответствующий их умениям; -
очень трудно сравнивать ожидаемые результаты производительности тестировщиков из-за различных сопутствующих факторов. Поэтому наблюдение за деятельностью инженеров имеет более важное значение, чем сравнение ожидаемых результатов; -
производительность тестировщика изменяется в зависимости от технологии; -
возможности тестировщика не всегда очевидны.
Оценка производительности отдельных тестировщиков многомерна, качественно измеряема и рассчитывается на основе разных индивидуальных факторов. Основными источниками информации в этом случае не являются числовые значения, а конкретные показатели.
Результат исследования показателя представлен в виде таблицы 24:
Таблица 20. Показатель "Измерение производительности персонала"
Свойство показателя | Показатель |
Цель показателя | Оценить эффективность и уровень производительности тестировщиков |
Польза показателя | Помогает повысить самоотдачу команды тестирования |
Пример измерения производительности | Оценка производительности тестировщика - это сложная и часто субъективная задача. Базовые метрики:
|
Ограничения показателя | Производительность тестировщика следует оценивать в контексте обязанностей, задач, графиков и стандартов. |
Работа команды тестирования должна быть сравнена с установленными целями, задачами и графиками. | |
Опыт, уровень тестирования, тип тестирования и технологии должны быть учтены при оценке производительности. |
- 1 ... 13 14 15 16 17 18 19 20 ... 31
Метрики для оценки качества тестирования
К категории «Качество» тестирования относятся следующие показатели:
-
эффективность тест-кейсов; -
достижение поставленных целей; -
полнота тестов.
-
Измерение эффективности Тест-кейсов
Простое выполнение тестовых примеров не является доказательством того, что система адекватно протестирована. Неправильно оценивать эффективность Тест-кейсов, когда система уже выпущена. Необходима оценка в процессе, чтобы ошибки были идентифицированы и скорректированы еще до выпуска.
Спецификации тестовых случаев должны быть проверены в конце этапа проектирования тестов на соответствие требованиям. При проверке технических характеристик существуют факторы, которые влияют на эффективность тестов, включая разработку тестовых примеров с неполными функциональными характеристиками, плохой дизайн и неправильная интерпретация тестировщиками [41]103.
Общие методы, доступные для проверки технических характеристик тестового случая, включают в себя осмотр на соответствие тестов спецификации испытаний к функциональным характеристикам. Эти методы редко помогают улучшению способности обнаружения неисправностей тестовых примеров спецификаций. Поэтому спецификации тестовых примеров проверяются путем определения, насколько эффективными были тесты в исполнении. Простая метрика проверки эффективности теста - это отношение ошибок, найденных при помощи Тест-кейса к общему числу дефектов.
Эффективность Тест-кейса = (Дефекты, найденные при помощи Тест-кейса / общее число зарегистрированных неисправностей) * 100%
Для каждого проекта есть базовое значение, которое может быть использовано для сравнения значения эффективности тестового примера. Если эффективность теста ниже базовой величины, это является показателем того, что процесс тестирования нуждается в улучшении. Эффективность теста может быть улучшена за счет улучшения общего процесса тестирования. Улучшение подхода заключается в анализе ошибок, которые были найдены потребителями после релиза продукта. Этот подход состоит из пяти шагов, начиная с необходимости понять и документировать процесс тестирования. Процесс тестирования, как правило, состоит из планирования, проектирования тестов, подготовки и выполнения тестов, оценки тестов и улучшения [41]