Тестовая документация, метрики Flashcards
Зачем нужна тестовая документация? Какие её виды?
Тестовая документация — это набор документов, создаваемых перед началом процесса тестирования и непосредственно в процессе. Эти документы описывают покрытие тестами и процесс выполнения тестов, в них указываются необходимые для тестирования вещи, приводится основная терминология и т. д.
Тестовая документация определяет, что для нас важно и почему, какие действия мы должны выполнить и сколько времени у нас есть. Наконец, в документации обозначено, чего должна достичь команда и что сигнализирует об окончании процесса.
Непонимание того, как и почему должна вести себя та или иная функция, приводит к большему количеству ошибок. Неправильная расстановка приоритетов может привести к пропуску багов и предоставлению неполных отчетов. Примеры можно продолжать и продолжать.
Тест-план
Чек-лист
Тест-кейс
Тест-сценарий
Баг-репорт
Спецификация требований
Что такое тест-план? Какие элементы у него есть?
Документ, описывающий весь объем работ по тестированию, начиная с описания объекта, стратегии, расписания, критериев начала и окончания тестирования, до необходимого в процессе работы оборудования, специальных знаний, а также оценки рисков с вариантами их разрешения.
Содержит: введение (что содержит данный документ), краткое описание тестируемой системы, условия тестирования, график и план проведения испытаний. По сути, этот документ описывает объекты и функции тестирования, определяет подход, ресурсы выполнения различных видов тестовой деятельности, исполнителей тестового задания.
Как правильно тест-план использовать, поддерживать и нужен ли он вообще?
Чем именно помогает качественный тест план:
Это руководство для процесса тестирования. Он определяет подход к тестированию и описывает методы тестирования, которым необходимо следовать.
Он содержит подробную информацию об области тестирования и бизнес целях продукта. Это помогает определить время, необходимое для тестирования продукта.
Он четко определяет роли и обязанности каждого члена команды, чтобы каждый человек в группе тестирования знал, что от него требуется.
Он предоставляет график тестирования. Следовательно, он предоставляет нам базовый график для контроля и отслеживания прогресса вашей команды.
В нем изложены требования к ресурсам и потребности в оборудовании, которые необходимы для проведения процесса тестирования.
Какая разница между чек-листом и тест-кейсами?
Чек лист - называется набор идей для тестирования в виде списка.
Тест-кейс - Набор входных данных, условий выполнения и ожидаемых результатов, разработанный с целью проверки того или иного свойства или поведения программного средства. Документ, представляющий формальную запись тест-кейса.
Когда использовать чек-лист, а когда тест-кейс?
Чек-лист - когда мало функционала, когда один тестировщик, который знает все особенности.
Тест-кейс - когда большие проекты, когда много новичков.
Зачем писать тест-кейсы?
Структурировать и систематизировать подход к тестированию
Проводить регрессионное тестирование
Вычислять метрики тестового покрытия
Отслеживать соответствие текущей ситуации плану (сколько примерно понадобится тест-кейсов, сколько уже есть, сколько выполнено из запланированного на данном этапе количества и т.д.).
Уточнить взаимопонимание между заказчиком, разработчиками и тестировщиками (тест-кейсы зачастую намного более наглядно показывают поведение приложения, чем это отражено в требованиях)..
Хранить информацию для длительного использования и обмена опытом между сотрудниками и командами (или, как минимум, не пытаться удержать в голове сотни страниц текста).
Проводить регрессионное тестирование и повторное тестирование (которые без тест-кейсов было бы вообще невозможно выполнить).
Повышать качество требований (написание чек-листов и тест-кейсов — хорошая техника тестирования требований).
Быстро вводить в курс дела нового сотрудника, недавно подключившегося к проекту.
Можно ли ссылаться в шагах тест-кейса на шаги других тестов или тесты целиком?
Нет
Расскажи об особенностях хорошего тест-кейса.
Правильный технический язык, точность и единообразие формулировок
Баланс между специфичностью и общностью
“Показательность” (высокая вероятность обнаружения ошибок)
Последовательность в достижении цели
Отсутствие лишних действий
Неизбыточность по отношению к другим ТК
Демонстративность (способность демонстрировать обнаружение ошибок очевидным способом)
Прослеживаемость
Возможность повторного использования
Повторяемость
Соответствие принятым шаблонам оформления и традициям.
Как выбрать приоритет для тест-кейса?
Приоритет зависит от важности требований пользовательских сценариев или функциональностей, с которыми связан ТК
Потенциальной важности дефекта, на поиск которой направлен ТК
Степени риска, связанного с проверяемым ТК-сом требованием, сценарием, функциональностью.
Из чего состоит тест-кейс?
Идентификатор
Приоритет
Требование
Модуль и подмодуль
Заглавие ТК
Предусловия
Шаги ТК
ОР
Какие знаешь инструменты работы с тестовой документацией? С какими работал?
Для ручного тестирования существуют специальные средства коллективной работы, позволяющие управлять командой и задачами. Вся коммуникация осуществляется прямо в программе:
Jira (https://www.atlassian.com/ru/software/jira/guides) – решение для комфортной работы над проектами, отслеживания задач, совместной корректировки документов, планирования и наглядного проектирования.
Redmine (https://www.easyredmine.com/redmine-org/) позволяет контролировать проекты, отслеживать задачи, составлять контрольные списки дел, строить диаграммы и графики. Есть бесплатная пробная версия.
TestRail (https://www.gurock.com/testrail/) – решение, созданное специально для команд QA. Оно позволяет управлять тестовыми примерами, планами и запусками, а также получать информацию о ходе тестирования в режиме реального времени. С помощью TestRail можно настроить интеграцию с трекерами проблем.
Для тестировщика важна наглядность. Очень легко пропустить важную информацию в потоке однотипных данных. Создание и анализ скриншотов с помощью специальных инструментов – важная часть работы инженера QA:
Snagit (https://www.techsmith.com/screen-capture.html) содержит все лучшее из возможного. Приложение вырезает скриншоты, записывает видео и аудио, работает с веб-камерой, создает gif, рисует, пересылает. Есть бесплатная пробная версия.
Recordit API (http://help.recordit.co/api/) создает видео и отправляет сразу в приложение, а еще одним кликом превращает его в gif.
Monosnap (https://monosnap.com/welcome) редактирует скриншоты, выделает детали, скрывает конфиденциальную информацию.
GreenShot (https://getgreenshot.org/) – свободное ПО для создания скриншотов на Windows. Легкий, гибкий и надежный инструмент.
Чек-лист – отличный инструмент. Тестировщик может им пользоваться для контроля, остальные участники процесса – для понимания происходящего:
Testpad (https://ontestpad.com/) – инструмент для составления плана тестирования и контроля с помощью списков. Комфортный и гибкий в работе.
Sitechсo (https://sitechco.ru/) – онлайн-сервис для ведения чек-листов, позволяющий хранить результаты, просматривать отчеты и статистику. Большое достоинство Sitechсo – возможность интеграции с Jira Cloud.
Teamsuccess (https://teamsuccess.io) – сервис, в котором перечислены некоторые проверки, которые пригодятся при тестировании и помогут структурировать идею. По аналогии существуют целые базы базы чек-листов, их иногда удобно использовать в работе.
Что такое Traceability Matrix?
Это таблица, содержащая соответствие функциональных требований продукта и подготовленных тестовых сценариев.
Что такое тест-стратегия? Чем отличается от тест-плана?
Тест-стратегия - описание процесса тестирования с точки зрения применяемых методов, подходов, видов тестирования, технологий, инструментальных средств и т.д.
Тест-стратегия - это часть тест-плана. Тест-стратегия и тест-план могут быть двумя отдельными документами.
Как можно посчитать покрытие тестами?
Расчет тестового покрытия относительно требований проводится по формуле:
Tестовое покрытие = (количество требований, проверяемых тест кейсами/общее количество требований) * 100%
Для измерения покрытия требований, необходимо проанализировать требования к продукту и разбить их на пункты. Опционально каждый пункт связывается с тест кейсами, проверяющими его.
Когда можно считать, что тестирование окончено?
Это зависит от рисков для тестируемой системы. Есть несколько критериев, по которым вы можете прекратить тестирование:
- Сроки (Тестирование, Релиз)
- Бюджет теста был исчерпан
- Уровень ошибок падает ниже определенного уровня
- Тестовые случаи выполнены с определенным процентом пройдено
- Альфа или бета периоды для тестирования заканчиваются
- Покрытие кода, функциональности или требований выполняется до определенной точки
