Тестовая документация Flashcards
Для чего нужна тестовая документация?
Тестовая документация пишется на протяжении всей работы QA. Является важнейшим навыком тестировщика.
Документация помогает команде однозначно трактовать шаги, сроки тестирования, результаты, обращаться к этой информации в спорных моментах. Это отчет о проделанной работе тестировщика для менеджеров и клиентов.
Виды тестовой документации?
1)Тест план или план тестирования
2)Тест кейс
3)Чеклист
4)Баг репорт
5)Отчет по тестированию
Дополнительно:
6)Матрицы трассировки
7)Тестовая стратегия
8)Тестовые сценарии
9)Руководство по тестированию
10)План регрессионного тестирования
11)Юз кейсы
Кем пишется план тестирования?
В первую очередь - лид команды тестирования
Также может писаться рядовым QA
Из чего состоит тест план?
- Идентификатор тест планов
- Введение, цели, описание того, что необходимо протестировать
- Краткое описание того что тестируем(помните что тестирование зависит от контекста)
- Функции, которые будут протестированы
- Функции, которые НЕ будут протестированы
- Какие виды тестирования будут применяться
- Критерии начала/завершения тестирования
- критерии приостановки/возобновления тестирования
- Результаты тестирования
- Какие задачи должны быть учтены в процессе тестирования)
- Требования к окружению
- Ответственность сторон. Кто за какие проверки отвечает
- Потребности в кадрах и обучении
- расписание окончания тестирования, сроки
- Риски и непредвиденные обстоятельства
- Утверждение тест-плана членами команды
Критерии начала тестирования?
1) Готовность тестового окружения(тестовое окружение это стенд, на котором QA проводит проверки функционала. Само слово стенд подразумевает собой фронтенд и бекенд на серверах, которые недоступны обычным пользователям)
2)Завершение требований по функциональности(аналитик передал задачу дальше)
3)Завершение разработки требуемого функционала и выпуск новой соответствующей ему версии
4)Успешный прогон unit-тестов разработчика
Критерии завершения тестирования?
1) Если при выполнении не менее 25% запланированных проверок более 50% из них завершились обнаружением бага
2) Обнаружен критический баг
Что такое тест-кейс?
это подробное описание проверки, включающее в себе шаги проверок. Используются при проверке критически важного функционала и также когда в самой проверке больше одного шага выполнения.
Кем пишется тест-кейсы?
В первую очередь - рядовым QA. Это одна из основных задач тестировщика. Тест кейсы мы пишем часто и много.
Также могут писаться аналитиком и менеджером, но реже.
Из чего состоит тест-кейс или по-другому атрибуты тест-кейса?
- Уникальный номер. Обычно проставляется автоматически системой, где пишутся тест кейсы
-
Заголовок. Кратко, но ёмко описывает конкретную цель тест-кейса ― что именно нужно проверить.
Название должно быть кратким и лаконичным, таким, чтобы можно было понять основную цель тест кейса - Предусловия. Условия, которые нужно соблюсти перед началом тест-кейса. Как правило, нужно авторизоваться или находиться в определённом разделе программы.
- Окружение. Где именно работал тестировщик: на каком устройстве, в каком браузере. Иногда его заполняют до тестирования, чтобы указать, на каком именно оборудовании и ПО его проходить. Иногда — после, и тогда тестировщик сам указывает, в каком окружении работал.
- Шаги ― последовательность шагов, которую нужно проделать для проверки.
- Ожидаемый результат тест-кейса. То, что тестировщик должен получить от системы после или во время прохождения шагов.
- Приоритет. Проставляется также приоритет тест кейса (такие же, как и приоритет бага) в зависимости от критичности сценария
- Автор тест кейса. Тот QA, который писал этот самый тест кейс и/или изменял в последний раз.
- Также могут указываться версии тест кейса и вложения к нему
Что такое чек-лист?
Простые списки проверок, которые необходимо выполнить для проверки функционала.
Отличие чек-листа от тест-кейса?
Они менее детализированы, чем тест-кейсы, и часто используются для быстрой оценки функциональности и в случае, когда проверка предполагает собой 1-2 шага(в этом случае нам не нужно использовать тест-кейсы). Также чек-листы могут писаться (и это отличная практика) перед написанием тест-кейсов. Пишется, чтобы кратко наметить себе план тест-кейсов и чтобы в будущем не забыть какие-то из них и просто их помечать как “сделано”. Стоит обозначить, что чек-листы используются не всегда и на некоторых проектах их нет вообще.
Атрибуты чек-листа?
Приоритет
Проверка
Ожидаемый результат
Что такое баг репорт?
Баг репорт – это специальный документ, который содержит подробную информацию об ошибке, обнаруженной тестировщиком в процессе работы. Баг-репорт необходим для коммуникации с командой разработки и позволяет описать обнаруженный баг максимально точно и понятно.
Кем пишется баг-репорт?
В первую очередь - рядовым QA. Это одна из основных задач тестировщика. Также баг репорты могут заводиться самими разработчиками, если они обнаруживают дефект, аналитиками, менеджерами и т.д. Любой член команды может завести баг-репорт, но основная обязанность их заведения ложится на тестировщика.
Атрибуты баг-репорта?
ID – уникальный идентификатор бага, обычно проставляется автоматически системой, которая используется для написания баг репортов
Тайтл/Заголовок/Название – краткое описание бага. Он должен отвечать на вопросы «Что? Где? Когда?». Не указывайте побочную информацию типа версий или окружений. Заголовок — это краткое содержание, которое позволяет разработчику быстро понять суть проблемы. Не нужно его намеренно удлинять или укорачивать. Например “Не изменяется общая сумма покупок в чеке клиента при применении купона”. Название баг репорта должно быть показательным. Разработчик должен понять основную суть бага по названию самого баг репорта
Описание – подробное описание ошибки, включая шаги для ее воспроизведения. Шаги вопроизведения должны быть четкими и включащими в себя все условия
Приоритет – обычно проставляется менеджером проекта
Серьезность - проставляется тестировщиками
Ожидаемый и Фактический результаты
Окружение
Статус – текущее состояние ошибки (новый, в работе, исправлен и т.д.)
Вложения – скриншоты или видео, демонстрирующие баг.
Что такое отчеты о тестировании (Test Reports)?
Документы, предоставляющие результаты тестирования. Могут включать информацию о пройденных и проваленных тест-кейсах, статусе дефектов, достигнутых целях и выводах. Для чего он нужен? Чтобы вся команда понимала статус текущего тестирования. Представь ситуацию: скоро релиз, вы проводите тестирование новой версии приложения. При тестировании вы использовали 80 тест-кейсов. Какие-то из них вы не смогли воспроизвести, потому что был блокер и протестировать функциональность было невозможно, какие-то прошли успешно, где есть мелкие баги. Как нам определить и как определить менеджеру проекта, который не особо погружен в контекст тестирования, нужно ли нам релизиться с этой версией или будут большие финансовые потери? В этом нам помогает отчет по тестированию, где можно наглядно увидеть проблемы проекта.
Кем пишется отчёт?
В первую очередь - рядовым QA. Это одна из основных задач тестировщика
Примечание: отчеты по тестированию могут быть не на всех проектах, это опциональный документ, но я считаю это отличной практикой и всем советую вписать себе их в будущую легенду.
Преимущества техник тест-дизайна?
Техники тест-дизайна необходимы, чтобы грамотно проводить проверки. С помощью техник тест-дизайна проверяется за меньшее количество проверок больший объем функциональности. Таким образом, мы экономим свое время и деньги бизнеса. Соответственно плюсы:
1. Увеличение покрытия тестирования: техники тест-дизайна помогают создавать тесты, которые охватывают различные аспекты программного обеспечения, включая различные варианты использования и возможные ошибки.
2. Эффективное использование ресурсов: позволяют оптимизировать количество тестовых случаев и ресурсы, необходимые для тестирования, снижая издержки и ускоряя процесс разработки.
3. Повышение качества программного обеспечения: создание более полного и эффективного плана тестирования способствует выявлению ошибок и недочетов в ранние стадии разработки, что помогает улучшить качество программы и снизить вероятность возникновения проблем после выпуска в эксплуатацию.
Что такое эквивалентное разделение?
Подразумевает разбиение тестовых данных на классы по какому-либо признаку.(Например, возьмем колоду карт. Здесь мы можем разделить классы на масти, класс по цветам, класс по картам с картинкой и без и тд). Этот метод имеет смысл только в том случае, если компоненты чем-то похожи и могут войти в общую группу.
Эквивалентное разделение — хорошее решение для случаев, когда вы имеете дело с большим объемом входящих данных или множеством одинаковых вариантов ввода. В противном случае, возможно, имеет смысл более тщательно охватить продукт тестами. Эквивалентное разделение почти всегда используется в паре со следующей техникой тест дизайна: граничные значения
Что такое анализ граничных значений?
При анализе граничных значений мы тоже группируем данные по эквивалентным классам, но проверяем не значения из определенного класса, а граничные значения — те, которые находятся на «границах» классов. Почему? Так сложилось временем и наблюдением тестировщиками и другими айти специалистами. Часто баги находятся на стыках двух компонентов
Когда применяется:
1)Чаще осозннано при проверке полей, где есть возможность ввода чисел
2)Неосознанно, но логически эта логика может применяться для интеграционного тестирования. Мы проверяем отдельные элементы во время юнит-тестирования, а на следующем уровне ошибки, скорее всего, появятся на «стыках» юнитов.
Что значит диаграмма перехода состояний?
Диаграмма перехода состояний визуализирует состояния программы в разные периоды времени и на разных этапах использования. Визуальную информацию воспринимать проще, чем текст. Таким образом, техника перехода состояний позволяет быстрее получить максимальное тестовое покрытие.
Этот метод систематически изучает реакцию ПО на различные сценарии, обеспечивая правильное поведение ПО при переходах между состояниями, вызванными определенными событиями. Грубо говоря мы отрисовываем жизненный цикл событий. Эта техника тест дизайна используется реже, чем анализ граничных значение и эквивалентное разделение
Что такое попарное тестирование?
Попарное тестирование считается самым сложным и запутанным из отобранных нами пяти техник тест-дизайна. И на это есть веская причина.
Попарное тестирование основано на математических алгоритмах, а именно на комбинаторике. Оно позволяет создавать уникальные пары и тестировать огромное количество поступающих данных в разных сочетаниях, но расчеты могут быть сложными.
Чтобы охватить тестовыми сценариями максимум фич и при этом потратить минимальное время на тестирование, нужно правильно сопоставлять данные, комбинируя пары определенным образом на основе расчетов.
Что такое предугадывание ошибок?
Предугадывание ошибок обычно применяется вместе с другими техниками тест-дизайна. Суть этой техники в том, что тестировщик предугадывает, где могут появиться ошибки, опираясь на свой опыт, знание системы и требования к продукту. Таким образом он выявляет места, где могут накапливаться ошибки, и может уделить этим областям повышенное внимание.
Таблица принятия решений
Таблица принятия решений — инструмент тест-дизайна, или процесса создания тестов. Таблица помогает придумать, как и что тестировать в программном обеспечении, например на сайте или в приложении. Её можно использовать для проверки требований, собранных для разработки ПО, например проверять, что учтены все возможные варианты.
Как составлять таблицу
По горизонтали — выписываем условия, которые влияют на результат. А чуть ниже — сам результат, в оригинале Action — действие, которое нужно выполнить.
По вертикали — правила: конкретная комбинация входных условий.
Грубо говоря мы указываем условия работы системы и результаты системы в ответ на эти условия