ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 18.04.2021
Просмотров: 2583
Скачиваний: 13
Сертифицированный тестировщик
Программа обучения Базового уровня
International
Software Testing
Qualifications Board
Версия 2011
Страница 81 из 101
13 апреля 2011
© International Software Testing Qualifications Board
Эти инструменты позволяют хранить и управлять отчетами об инцидентах, такие
как дефекты, отказы в работе, запросы об изменениях или осознанные проблемы
и аномалии, и помогают в управлении жизненным циклом инцидентов,
дополнительно предоставляя поддержку статистического анализа.
Средства управления конфигурацией
Хотя и не являются тестовыми инструментами как таковыми, в обязательном
порядке используются для хранения и управления версиями тестового
обеспечения и всего связанного с ним программного обеспечения, главным
образом, когда приходится настраивать более одного программного/аппаратного
тестового окружения (в случаях использования различных версий операционных
систем, компиляторов, браузеров и так далее).
6.1.4 Инструменты статического тестирования (К1)
Инструменты статического тестирования предоставляют экономически
эффективный способ нахождения дефектов на ранних стадиях процесса
разработки.
Инструмент рецензирования
Эти инструменты помогают в процессе рецензирования, организации контрольных
списков, обзоров (результатов) рецензирования и используются для хранения и
передачи рецензионных комментариев, отчетов по дефектам и объемам работ.
Инструменты статического анализа (D)
Инструменты этого вида помогают разработчикам и тестировщикам находить
дефекты до начала фазы динамического тестирования, предоставляя
возможности обеспечения (и соблюдения) стандартов написания кода (включая
написание безопасного кода), анализа структур и зависимостей. Они также могут
помочь в планировании или анализе рисков с помощью метрик (например,
сложности).
Инструменты моделирования
Такие инструменты используются для проверки программных моделей (таких как
модель физических данных для реляционных баз данных) путем перечисления
несоответствий и нахождения дефектов. Инструменты моделирования также
часто помогают в создании тестовых сценариев, основанных на модели.
6.1.5 Инструменты для работы с тестовыми спецификациями (К1)
Инструменты проектирования тестов
Этот вид инструментов используется для создания тестовых данных или
исполнимых тестов и/или тестовых оракулов на основе требований, графического
пользовательского интерфейса, моделей дизайна (состояний, данных или
объектов) или кода.
Инструменты подготовки тестовых данных
Инструменты подготовки тестовых данных работают с базами данных, файлами
или пакетами данных, чтобы подготовить тестовые данные, которые будут
Сертифицированный тестировщик
Программа обучения Базового уровня
International
Software Testing
Qualifications Board
Версия 2011
Страница 82 из 101
13 апреля 2011
© International Software Testing Qualifications Board
использоваться в процессе выполнения тестов, обеспечивая безопасность на
основе анонимности данных.
6.1.6 Инструменты выполнения тестов и протоколирования (К1)
Инструменты выполнения тестов
Инструменты этого вида позволяют исполнять тесты автоматически или
полуавтоматически с помощью скриптовых языков программирования, используя
сохраненные входные данные и ожидаемые результаты, и обычно предоставляют
протокол запуска каждого теста. Также они могут быть использованы для записи
тестов, обычно конфигурируя параметры данных и другие настройки тестов с
использованием скриптового языка программирования или графического
пользовательского интерфейса.
Тестовая обвязка/Инструменты интегрированной среды модульного тестирования
(D)
Обвязка или среда модульных тестов содействует в тестировании компонентов,
или частей системы, имитируя среду, в которой будет использоваться тестовый
объект, путем предоставления фиктивных объектов – заглушек или тестовых
драйверов.
Тестовые компараторы
Тестовые компараторы находят различия между файлами, базами данных или
результатами тестов. Инструменты выполнения тестов чаще всего включают в
себя динамические компараторы, но сравнение результатов после запуска может
быть проведено с использованием отдельного компаратора. Тестовый компаратор
может использовать тестовый оракул, особенно если компаратор
автоматизирован.
Инструменты измерения покрытия (D)
Такие инструменты измеряют процент структур кода указанного типа, которые
были задействованы тестовым набором (такие как операторы, ветвления, модули
и вызовы функций).
Инструменты тестирования безопасности
Инструменты этого типа используются для оценки характеристик безопасности
системы (программного продукта). Это включает оценку способность программы
защитить конфиденциальность данных, целостность, аутентификацию,
авторизацию, доступность и безотказность. Инструменты безопасности чаще
всего сфокусированы на одной технологии, платформе и цели.
6.1.7 Инструменты для производительности и мониторинга (К1)
Инструменты динамического анализа (D)
Инструменты динамического анализа позволяют находить дефекты,
появляющиеся лишь в момент выполнения программы, такие как временные
зависимости или утечки памяти. Они чаще всего используются в компонентном и
интеграционном тестировании и в тестировании, проводимом на промежуточных
этапах жизненного цикла продукта.
Сертифицированный тестировщик
Программа обучения Базового уровня
International
Software Testing
Qualifications Board
Версия 2011
Страница 83 из 101
13 апреля 2011
© International Software Testing Qualifications Board
Инструменты тестирования производительности/тестирования
нагрузки/стрессового тестирования
Инструменты тестирования производительности позволяют наблюдать и
составлять отчеты о поведении системы при различных моделируемых условиях
эксплуатации - различном количестве пользователей, использующих систему
одновременно, скорости их работы, частоты и относительной доли транзакций.
Имитация нагрузок достигается путем создания виртуальных пользователей,
использующих выбранный набор операций, на нескольких тестовых машинах,
обычно называемых генераторами нагрузки.
Инструменты мониторинга
Инструменты мониторинга проводят длительный анализ, контролируют и
составляют отчет об использовании конкретных системных ресурсов и
предупреждают о возможных проблемах.
6.1.8 Инструмент поддержки конкретных потребностей тестирования
(К1)
Оценка качества данных
Данные являются основой проектов, связанных с преобразованием и миграцией
данных, а также хранилищ данных. Их атрибуты могут изменяться в зависимости
от критичности и объема данных. Для проверки правил миграции и
преобразования данных должны быть использованы подходящие инструменты
оценки качества, обеспечивая достоверность, полноту и соответствие
обработанных данных стандарту, выбранному исходя из конкретных условий.
Для тестирования практичности (удобства использования) существуют другие
тестовые инструменты.
Сертифицированный тестировщик
Программа обучения Базового уровня
International
Software Testing
Qualifications Board
Версия 2011
Страница 84 из 101
13 апреля 2011
© International Software Testing Qualifications Board
6.2 Эффективное использование
инструментальных средств: выгоды и
риски(K2)
20 минут
Терминология
Тестирование, управляемое данными, тестирование на основе ключевых слов,
скриптовый язык
6.2.1 Выгоды и риски использования инструментальных средств
тестирования (для всех средств) (K2)
Просто приобретение или аренда средства не гарантирует успех в работе с ним.
Каждый тип средств может потребовать дополнительных затрат для достижения
реальных и устойчивых выгод. При использовании средств существуют как
возможные преимущества, так и риски.
Выгоды от использования инструментальных средств:
Уменьшается повторяющаяся работа (например, запуск регрессионных
тестов, повторный ввод одинаковых тестовых данных, проверка на
соответствие стандартам программирования).
Большая целостность и повторяемость (например, тесты, запускаемые
средством в одной и той же последовательности, с одной и той же
частотой, а также тесты на основе требований).
Объективная оценка (например, статические измерения, покрытие).
Простота доступа к информации о тестах или тестировании (например,
статистика и графики, отображающие прогресс тестирования, доли
инцидентов и производительность).
Риски, возникающие при использовании средств тестирования:
Нереалистичные ожидания от использования средства (включая
функциональность и простоту использования).
Недооценка времени, стоимости и объемов работ на первоначальное
внедрение средства (включая обучение и получение экспертизы извне).
Недооценка времени и объемов работ, необходимых для получения
значимого и устойчивого результата от использования средства (включая
необходимость изменений в процессе тестирования и постоянного
улучшения методики работы со средством).
Недооценка затрат на поддержку тестов, генерируемых средством.
Возложение излишних надежд на средство (замена проектирования тестов
или использование автоматизированных тестов там, где ручное
тестирование было бы уместней).
Пренебрежение контролем версий тестов внутри средства.
Сертифицированный тестировщик
Программа обучения Базового уровня
International
Software Testing
Qualifications Board
Версия 2011
Страница 85 из 101
13 апреля 2011
© International Software Testing Qualifications Board
Пренебрежение вопросами взаимодействия между критическими
средствами, такими как средства управления требованиями, средства
контроля версий, средства управления инцидентами, средства управления
дефектами, а особенно если эти средства от разных производителей.
Риск того, что поставщик средства перестанет существовать, откажется от
средства или продаст его иному поставщику.
Слабая поддержка со стороны поставщика, в том числе по вопросам
обновлений и исправлений дефектов.
Риск приостановки бесплатного продукта или продукта с открытым кодом.
Непредвиденные риски, как например, невозможность поддержки новой
платформы.
6.2.2 Отдельные замечания для инструментов определенных типов
(K1)
Средства выполнения тестов
Средства выполнения тестов выполняют тесты, используя автоматизированные
тестовые скрипты. Этот тип средств обычно требует значительных затрат для
получения серьезных результатов.
Создание тестов путем записи действий тестировщика кажется привлекательным,
но данный подход не масштабируется для большого числа автоматизированных
тестовых скриптов. Созданный таким образом скрипт – это линейное
представление с конкретными данными и действиями внутри каждого скрипта. В
случае возникновения непредвиденных событий, данный скрипт может оказаться
нестабильным.
Тестирование на основе данных обычно использует входные тестовые данные в
виде электронных таблиц и более универсальный скрипт, который может
считывать данные и выполнять один и тот же тест с различными данными. Даже
не знакомые со скриптовым языком тестировщики могут создавать тестовые
данные для этих предопределенных скриптов.
В тестировании на основе данных существуют также и другие технические
подходы где, например, вместо прописанных в таблицы комбинаций данные
генерируются алгоритмами с конфигурируемыми параметрами времени
выполнения. Например, средство может использовать алгоритм генерации
случайного ID пользователя, и для повторяемости в пределах набора и для
управления случайностью вводится некоторая неоднородность.
При тестировании на основе ключевых слов, в таблицах, помимо тестовых
данных, содержатся ключевые слова, поясняющие действия, которые нужно
предпринять (называемые также словами действия). Тестировщики, даже будучи
не знакомыми с скриптовым языком, могут определять тесты по ключевым
словам, которые можно подобрать под тестируемое приложение.
Для всех подходов необходим технический анализ скриптового языка
(тестировщиками или специалистами по автоматизации тестов).