Файл: Отладка и тестирование программ: основные подходы и ограничения (Определение основных понятий тестирования программных систем).pdf

Испытательным полигоном называют место, предназначенное для испытаний в условиях, близких к условиям эксплуатации, и обеспеченное необходимыми средствами испытания.

Полигонным испытаниям подвергают системы, работающие в реальном масштабе времени. В полигонных условиях обычно сочетают натурные испытания с использованием реальных объектов автоматизируемых систем и моделирование некоторых объектов и процессов их функционирования.

По степени зависимости испытателей от разработчиков различают зависимые и независимые испытания.

При зависимых испытаниях основные операции с испытываемыми ПС (подготовка к работе, подготовка и ввод исходных данных, регистрация и анализ результатов) выполняют разработчики программ.

Оценку результатов испытания производит комиссия при активном участии разработчиков.

Независимые испытания проводят специальные подразделения, не несущие ответственности за разработку программ и непосредственно не подчиняющиеся руководителям разработки.

Технологическая схема испытания

Цель повышения эффективности испытания, его ускорения и удешевления может быть достигнута путем разработки технологической схемы испытаний, предусматривающей:

знание назначения испытываемого ПС, условий его функционирования и требований к нему со стороны пользователей;

автоматизацию наиболее трудоемких процессов и, прежде всего, моделирование среды функционирования, включая искажающие воздействия;

ясное представление цели и последовательности испытания;

целенаправленность и неизбыточность испытания, исключающая или минимизирующая повторение однородных процедур при одних и тех же условиях функционирования испытываемого ПС;

систематический контроль, регулярное ведение протокола и журнала испытания;

последовательное определение и выполнение плана испытания;

сопоставление имеющихся ресурсов с предполагаемым объемом испытания;

возможность обеспечения объективной количественной оценки полноты и достоверности результатов испытания на всех этапах.

Любому виду испытаний должна предшествовать тщательная подготовка.

В подготовку испытаний ПС входят следующие мероприятия:

составление и согласование плана-графика проведения испытания;

разработка, комплектование, испытание и паспортизация программно-технических средств, используемых при испытаниях;

анализ пригодности испытательных средств, используемых во время предварительных испытаний, для проведения приемочных испытаний;

анализ пригодности накопленных данных о качестве ПС для использования при окончательном определении значений показателей качества испытываемого ПС;

проверка и согласование с представителем заказчика конструкторской документации на ПС, предъявляемой при испытаниях;

разработка, согласование и утверждение программ и методик испытаний;

аттестация специалистов на допуск к проведению испытаний;

приемка испытываемого опытного образца ПС на носителе данных и документации;

проведение мероприятий, направленных на обеспечение достоверности испытаний.

Следует подчеркнуть необходимость заблаговременной разработки и испытания программно-технических средств, которые будут использоваться при проведении испытаний.

При этом следует иметь в виду, что уровень точности и надежности измерительной аппаратуры должен быть значительно выше соответствующих показателей испытываемого объекта.

На основании изложенного можно определить следующие пять этапов испытания:

1. Обследование проектируемого ПС, анализ проектной документации.

2. Определение наиболее важных подсистем и функций проектируемого ПС, подлежащих испытанию.

3. Анализ показателей качества ПС и методов определения их значений. Разработка программ и методик испытания.

4. Разработка (освоение) испытательных программно-техничес­ких средств, библиотек тестов и баз данных (если они требуются).

5. Непосредственное проведение испытаний, анализ результатов, принятие решения.

В зависимости от специфики, условий применения, требований к качеству испытываемых ПС, испытания могут проводиться либо путем тестирования, либо путем статистического моделирования среды функционирования, либо на основе натурных и смешанных экспериментов. Часто полезно использование всех этих методов. Значения некоторых показателей качества могут быть получены экспертным путем.

На рис. 1 изображена технологическая схема в виде этапов подготовки и проведения испытания и их связи с этапами разработки ПС.

Планирование и оценка испытаний

План проведения испытаний должен быть ориентирован на обеспечение всесторонней проверки ПС и заданной достоверности полученных результатов при использовании ограниченных ресурсов, выделенных на испытания.

Рисунок 1 -Технологическая схема испытания ПС

Возможны следующие подходы для решения этой задачи:

1) анализируют диапазон входных данных. На основе анализа готовят множество комбинаций тестовых наборов данных, охватывающее наиболее характерные подмножества входных данных. Программу рассматривают как черный ящик. Испытания сводятся к последовательному вводу тестовых наборов данных и анализу получаемых результатов;

2) анализируют множество ситуаций, которые могут возникнуть при функционировании ПС. Выбирают наиболее характерные. Каждую из них выражают через тестовый набор входных данных. Далее процесс испытания и анализа результатов сводится к п. 1;

3) с помощью граф-схемы анализируют микроструктуру ПС. Выбирают множество путей, которое полностью покрывает граф-схему, и такую последовательность тестовых наборов исходных данных, выполнение которой будет проходить по выделенным путям. Организация испытаний аналогична пунктам 1 и 2;

4) ПС испытывают в реальной среде функционирования;

5) ПС испытывают в статистически моделируемой среде функционирования, адекватной реальной среде.

Заключение

Таким образом, ни один из подходов не является универсальным. Каждый имеет свои преимущества и недостатки в зависимости от специфики испытываемого ПС. Наиболее достоверные результаты получаются при испытаниях в реальной среде функционирования. Но такие испытания редко удается осуществить. Поэтому на практике используют комбинации всех видов. Например, смешанный метод, когда среда функционирования ПС моделируется, а достоверность результатов проверяется сравнением с результатами, полученными при функционировании ПС в реальной среде.

Существует много подходов к тестированию программного обеспечения, но эффективное тестирование сложных продуктов – это по сути исследовательский процесс, а не только создание и выполнение рутинной процедуры.

Тестирование программных систем является достаточно сложным и важным этапом разработки программного обеспечения. При этом, оценка эффективности работы тестировщиков программных систем является необходимым элементом комплекса мер по обеспечению качества программного обеспечения. Отсутствие эффективных методов такой оценки может негативно влиять на качество программного обеспечения. Предложенные в исследовании методы позволяют получить количественные оценки эффективности тестирования программных продуктов на основании математической модели. Полученные результаты позволят повысить эффективность как процесса тестирования, так и процесса разработки программного обеспечения в целом.

Список литературы

1. Лаврищева Е. М., Петрухин В. А. Методы и средства инженерии программного обеспечения. – Москва: МФТИ. –2007.– 415 с.
2. ANSI/IEEE Std 729-1983. Толковый словарь терминологии, используемой при разработке ПО // IEEE, New-York, 1983, – 30 р
3. Майерс Г. Искусство тестирования программ /Пер. с англ. под ред. Б. А. Позина. – М.: Финансы и статистика, 1982. – 176 с. // Электронный ресурс. Режим доступа: http:// http://computersbooks.net/index
4. Дейкстра Э. Дисциплина программирования. – М.: Мир, 1978.
5. Коротышка Т. М. модели и методы инженерии тестирования программных систем в условиях ограниченных ресурсов. Дис... канд. физ.-мат. наук: 01.05.03 – К., 2005. – 127с.