Файл: Федеральное государственное автономное образовательное учреждение высшего образования казанский (приволжский) федеральный университет высшая школа информационных технологий и информационных систем.docx

5. Специфические для условий данные: данные испытаний должны быть готовы для соответствия конкретным условиям в приложениях. Например, для создания стенограммы студента в системе управления учащимися, человек должен быть активным учеником в базе данных.

Методические рекомендации по применению метрик
1. Что такое метрики и почему они полезны?

Метрики - это числа, которые сообщают вам важную информацию о рассматриваемом процессе. Они сообщают вам точные измерения о том, как этот процесс функционирует, и дают вам основания предложить улучшения.

Говорят, что только тогда, когда можно выразить свое понимание в терминах чисел, это понимание является удовлетворительным и значимым.

Обычно измерение результатов с одной метрикой - недостаточно хорошая стратегия. Для измерения эффективности процесса используется комбинация показателей.

Вот несколько важных функций, которые метрики выполняют в организации, отмеченные [60]¹⁴²:

контроль управления и обратной связи определяется метриками: как только идеальное состояние процесса определяется с помощью аналитики, оно должно выражаться в показателях. Это связано с тем, что метрики - это числа, которые измеряются регулярно. Философия управления также считает, что управляется то, что измеряется. Следовательно, метрики указывают, является ли процесс упорядоченным или нуждается во внешнем вмешательстве, поэтому они образуют основу контроля в любой организации;
метрики делают процесс объективным: процессы должны быть разработаны в соответствии с требованиями клиентов к качеству. Показатели помогают преобразовать неопределенные требования, которые клиент предъявляет, в ряд чисел, которые могут быть использованы для точного отображения процесса для его эффективности. Показатели говорят нам о том, достаточно ли хорош процесс для удовлетворения требований клиента или же он должен быть лучше;
цели совершенствования в терминах показателей: для того, чтобы цели были объективными, важно, чтобы они измерялись в количественном выражении. Такие слова, как: хорошее качество, плохое качество и приемлемое качество, - расплывчаты и могут зависеть от личного мнения человека, выразившего их. Поэтому метрики играют важную роль, поскольку они преобразуют как требования заказчика, так и эксплуатационные характеристики к числам, которые можно сравнить. В результате руководство может объективно указать, удовлетворяются ли потребности клиента или нет.

1 ... 21 22 23 24 25 26 27 28 ... 31

Польза и правила применения метрик в процессе тестирования

Цель применения различных метрик заключается в предоставлении широкого спектра вариантов для руководителей проектов и группы тестирования. Метрики, изучаемые в отношении каждого показателя, необходимо оценивать по их практичности с точки зрения контекста проекта и преимуществ для команды тестирования. Организации необходимо оценить эти показатели с точки зрения улучшений, которые она ожидает от них. Метрика будет полезна, только если она явно необходима.

Метрики используются для улучшения определенной характеристики. Схематично алгоритм применения метрик можно изобразить следующим образом: устанавливается наличие проблемы и ожидаемые показатели определенной характеристики проекта, проходит применение метрик и сбор статистики, определяются причины проблемы, вводятся корректировки, снова собирается статистика и сравнивается с ожидаемым результатом (рис.21).

Рис. 21. - Алгоритм применения метрик

Говоря о множестве показателей и метрик, многие специалисты согласны с тем, что необходимо использовать подход Цель/Вопрос/Метрика (Goal/Question/Metric) [61]¹⁴³, чтобы определить набор показателей, необходимых в конкретной ситуации. Суть метода состоит в постановке цели, затем вопросов для характеристики показателей и в выборе метрик, соответствующих показателям.

Внедряя метрики, стоит внимательно отнестись к советам авторов, что необходимо придерживаться минимально необходимого набора метрик. Использование большого числа метрик может негативно отобразиться на производительности команды. Сбор лишних данных может не только снизить скорость работы, но и отбить у членов команды желание работать.

Применение некоторых метрик может создать неправильно ориентированную мотивацию, желание скрыть или исказить информацию о дефектах или состоянии программного продукта.

Мотивация сотрудников

Сотрудники должны быть хорошо мотивированы для использования показателей для улучшения процессов планирования и проектирования. Метрики не измеряют конкретных сотрудников, и это распространенная ошибка, возникающая из-за неверного толкования результатов метрики. В этом отношении важно определить четкие цели, которые необходимо достичь. Очень важно, чтобы метрики интерпретировались и анализировались не только данными, которые она представляет, но также и сопутствующими факторами, влияющими на результаты. Метрики также должны быть включены в стратегию организации, поскольку эта стратегия поможет выбрать показатели, требующие измерения.

Своевременность сбора данных

Важным аспектом для внедрения метрик является то, что процесс сбора данных должен быть своевременным, поэтому руководители должны давать обратную связь своим сотрудникам по поводу собранных ими данных. Они должны быть мотивированы на предоставление данных, полезных для организации. Поэтому сбор данных должен быть осуществлен членами команды, не затрагивая их основных задач. Еще один важный момент, который необходимо отметить, состоит в том, что уровень прилагаемых усилий, необходимых для измерения, должен быть хорошо понят и в идеале должен быть минимальным. Целесообразно выразить цели, которые, как ожидается, будут достигнуты путем тестирования с использованием метрик. Эти цели должны быть четко указаны в плане тестирования.

Анализ погрешностей

Важно проанализировать погрешности и допущения при расчете метрик. Метрики необходимо постоянно оценивать на предмет их роли в разработке эффективных тестов и эффективности тестирования. Другими словами, показатели должны быть тесно связаны с целями улучшения, чтобы у команды не было недостатка в мотивации в сборе данных метрик. Цели развития должны доводиться до сведения сотрудников. Сбор и анализ данных по метрикам должны быть автоматизированы, насколько это возможно, чтобы обеспечить руководителей проектов своевременной информацией о прогрессе и качестве. Метрики необходимо вводить поэтапно, возможно, первоначально для одной команды разработчиков.

Простота метрик

Команда должна быть вовлечена и тесно связана с программой измерений, чтобы можно было собрать точные данные метрики. Метрики должны быть прозрачными и простыми, чтобы установить связь между измерениями и проблемами, которые необходимо решать.