Файл: Тестирование Вебприложений.pdf

фиксирование значений для некоторых входных параметров с последующим сравнением выходных результатов с заранее известными данными; вариация значениями входных и внутренних параметров модели с последующим сравнительным анализом поведения исследуемой системы; реализация повторных прогонов модели с неизменными значениями всех входных параметров; оценка фактически полученных в результате моделирования распределений случайных величин и оценок их параметров (математическое ожидание и дисперсия) с априорно заданными значениями; сравнение исследователями поведения и результатов валидируемой модели с результатами уже существующих моделей, для которых доказана достоверность; для существующей реальной исследуемой системы предсказание её будущего поведения и сравнение прогноза с реальными наблюдениями.
Формальные процедуры связаны с проверкой исходных предположений
(выдвинутых на основе опыта, теоретических знаний, интуитивных
представлений, на основе имеющейся информации). Общая процедура включает: построение ряда гипотез о поведении системы и взаимодействии ее элементов; проверка гипотез с помощью статистических тестов: используют методы статистической теории оценивания и проверки гипотез (методы проверки с помощью критериев согласия (
2
, Колмогорова-Смирнова, Кокрена и др.), непараметрические проверки и т.д., а также дисперсионный, регрессионный, факторный, спектральный анализы).
6.4 Валидация данных имитационной модели
Валидация данных имитационной модели предполагает исследование
свойств имитационной модели, в ходе которого оценивается точность,
устойчивость, чувствительность результатов моделирования и другие свойства имитационной модели.
Наиболее существенные процедуры исследования свойств модели: оценка точности результатов моделирования; оценка устойчивости
результатов моделирования;
оценка чувствительности имитационной модели.
Получить эти оценки в ряде случаев бывает весьма сложно. Однако без успешных результатов этой работы, доверия к модели не будет, невозможно будет провести корректный проблемный анализ и сформулировать статистически значимые выводы на основе данных, полученных в результате имитации.

Методы доказательства правильности программ
Как известно, универсальные вычислительные машины могут быть запрограммированы для решения самых разнородных задач - в этом заключается одна из основных их особенностей, имеющая огромную практическую ценность. Один и тот же компьютер, в зависимости от того, какая программа находится у него в памяти, способен осуществлять арифметические вычисления, доказывать теоремы и редактировать тексты, управлять ходом эксперимента и создавать проект автомобиля будущего, играть в шахматы и обучать иностранному языку. Однако успешное решение всех этих и многих других задач возможно лишь при том условии, что компьютерные программы не содержат ошибок, которые способны привести к неверным результатам.
Можно сказать, что требование отсутствия ошибок в программном обеспечении совершенно естественно и не нуждается в обосновании. Но как убедиться в том, что ошибки, в самом деле, отсутствуют? Вопрос не так прост, как может показаться на первый взгляд.
К неформальным методам доказательства правильности программ относят отладку и тестирование, которые являются необходимой составляющей на всех этапах процесса программирования, хотя и не решают полностью проблемы правильности. Существенные ошибки легко найти, если использовать соответствующие приемы отладки (контрольные распечатки, трассировки).
Тестирование – процесс выполнения программы с намерением найти ошибку, а не подтвердить правильность программы. Суть его сводится к следующему. Подлежащую проверке программу неоднократно запускают с теми входными данными, относительно которых результат известен заранее.
Затем сравнивают полученный машиной результат с ожидаемым. Если во всех случаях тестирования налицо совпадение этих результатов, появляется некоторая уверенность в том, что и последующие вычисления не приведут к ошибочному итогу, т.е. что исходная программа работает правильно.
Мы уже обсуждали понятие правильности программы с точки зрения отсутствия в ней ошибок. С интуитивной точки зрения программа будет правильной, если в результате ее выполнения будет достигнут результат, с целью получения которого и была написана программа. Сам по себе факт безаварийного завершения программы еще ни о чем не говорит: вполне возможно, что программа в действительности делает совсем не то, что было задумано. Ошибки такого рода могут возникать по различным причинам.
В дальнейшем мы будем предполагать, что обсуждаемые программы не содержат синтаксических ошибок, поэтому при обосновании их правильности внимание будет обращаться только на содержательную сторону дела, связанную с вопросом о том, достигается ли при помощи данной программы данная конкретная цель. Целью можно считать поиск решения поставленной задачи, а программу рассматривать как способ ее решения. Программа будет правильной, если она решит сформулированную задачу.

Метод установления правильности программ при помощи строгих средств известен как верификация программ.
В отличие от тестирования программ, где анализируются свойства отдельных процессов выполнения программы, верификация имеет дело со свойствами программ.
В основе метода верификации лежит предположение о том, что существует программная документация, соответствие которой требуется доказать. Документация должна содержать:
спецификацию ввода-вывода (описание данных, не зависящих от процесса обработки);
свойства отношений между элементами векторов состояний в выбранных точках программы;
спецификации и свойства структурных подкомпонентов программы;
спецификацию структур данных, зависящих от процесса обработки.
К такому методу доказательства правильности программ относится метод индуктивных высказываний, независимо сформулированный К. Флойдом и П.
Науром.
Суть этого метода состоит в следующем:
1) формулируются входное и выходное высказывания: входное высказывание описывает все необходимые входные условия для программы
(или программного фрагмента), выходное высказывание описывает ожидаемый результат;
2) предполагая истинным входное высказывание, строится промежуточное высказывание, которое выводится на основании семантики операторов, расположенных между входом и выходом (входным и выходным высказываниями); такое высказывание называется выведенным высказыванием;
3) формулируется теорема (условия верификации): из выведенного высказывания следует выходное высказывание;
4) доказывается теорема; доказательство свидетельствует о правильности программы (программного фрагмента).
Доказательство проводится при помощи хорошо разработанных математических методов, использующих исчисление предикатов первого порядка.
Условия верификации можно построить и в обратном направлении, т.е., считая истинным выходное высказывание, получить входное высказывание и доказывать теорему: из входного высказывания следует выведенное высказывание.
Такой метод построения условий верификации моделирует выполнение программы в обратном направлении. Другими словами, условия верификации должны отвечать на такой вопрос: если некоторое высказывание истинно после выполнения оператора программы, то, какое высказывание должно быть истинным перед оператором?

Построение индуктивных высказываний помогает формализовать интуитивные представления о логике программы. Оно и является самым сложным в процессе доказательства правильности программы. Это объясняется, во-первых, тем, что необходимо описать все содержательные условия, и, во-вторых, тем, что необходимо аксиоматическое описание семантики языка программирования.
Важным шагом в процессе доказательства является доказательство завершения выполнения программы, для чего бывает достаточно неформальных рассуждений.
Таким образом, алгоритм доказательства правильности программы методом индуктивных высказываний представляется в следующем виде:
1) Построить структуру программы.
2) Выписать входное и выходное высказывания.
3) Сформулировать для всех циклов индуктивные высказывания.
4) Составить список выделенных путей.
5) Построить условия верификации.
6) Доказать условие верификации.
7) Доказать, что выполнение программы закончится.
Этот метод сравним с обычным процессом чтения текста программы
(метод сквозного контроля). Различие заключается в степени формализации.
Преимущество верификации состоит в том, что процесс доказательства настолько формализуем, что он может выполняться на вычислительной машине. В этом направлении в восьмидесятые годы проводились исследования, даже создавались автоматизированные диалоговые системы, но они не нашли практического применения.
Для автоматизированной диалоговой системы программист должен задать индуктивные высказывания на языке исчисления предикатов.
Синтаксис и семантика языка программирования должны храниться в системе в виде аксиом на языке исчисления предикатов. Система должна определять пути в программе и строить условия верификации.
Основной компонент доказывающей системы - это построитель условий верификации, содержащий операции манипулирования предикатами, алгоритмы интерпретации операторов программы. Вторым компонентом системы является подсистема доказательства теорем.
Отметим трудности, связанные с методом индуктивных высказываний.
Повторим, что трудно построить «множество основных аксиом, достаточно ограниченное для того, чтобы избежать противоречий, но достаточно богатое для того, чтобы служить отправной точкой для доказательства высказываний о программах». Вторая трудность - семантическая, заключающаяся в формировании самих высказываний, подлежащих доказательству. Если задача, для которой пишется программа, не имеет строгого математического описания, то для нее сложнее сформулировать условия верификации.
Перечисленные методы имеют одно общее свойство: они рассматривают программу как уже существующий объект и затем доказывают ее правильность.

Метод, который сформулировали К. Хоар и Э. Дейкстра основан на формальном выводе программ из математической постановки задачи.