Теория тестирования

Question 1

Что такое тестирование?

Answer 1

Тестирование - проверка объекта тестирования на соответствие требованиям: явным, неявным, скрытым

Question 2

Цель тестирования?

Answer 2

1 Проверить, все ли указанные требования выполнены
2 Предотвратить появление дефектов
3 Найти максимально возможное количество дефектов
4 Укрепить уверенность в уровне качества объекта тестирования
5 Предоставить информацию о качестве продукта заинтересованным лицам

Question 3

Чем отличается тестирование и контроль качества ?

Answer 3

Testing (Тестирование) – самый “нижний”, первый уровень, проверка создаваемого программного продукта на
соответствие требованиям к этому продукту. По факту это реактивная работа (выдали – проверил – описал
дефекты – исправили), которая может помочь исправить дефекты в уже созданном программном обеспечении,
но не более того. Основная задача тестирования – выявить и зафиксировать дефекты.
QC (Quality Control, контроль качества) – второй уровень, включающий в себя тестирование, но не
ограничивающийся им. Quality Control обеспечивает не только проверку продукта на соответствие
требованиям, но и соответствие заранее согласованному уровню качества продукта и готовность к выпуску
продукта в продакшен. Основная задача контроля качества – предоставить объективную картину того, что
происходит с качеством продукта на разных этапах разработки.

Question 4

Как определить критичность дефекта (серьезность)?

Answer 4

Классы серьезности дефекта: Blocker, Critical, Major, Minor, Trivial

Question 5

Пирамида тестирования

Answer 5

«Пирамида тестов» — абстракция, которая означает группировку тестов программного обеспечения по разным
уровням детализации.
Из этой пирамиды главное запомнить два принципа:
1.Писать тесты разной детализации.
2.Чем выше уровень, тем меньше тестов.
Модульные тесты должны составлять основную часть автоматизированного тестирования.
- Задачи автоматизации не закрываются до тех пор, пока эти скрипты не будут запущены на реализованной
функциональности;
- Разработка одновременно с модульными тестами заставляет разработчиков задуматься о проблеме,
которую они решают, и о любых крайних случаях, с которыми они могут столкнуться;
- Тесты являются детальными и могут помочь точно определить дефект;
- Время выполнения невероятно быстрое, потому что им не нужно полагаться на какой-либо пользовательский
интерфейс или внешние системы, такие как база данных или API;
- Они недорогие, просто пишутся, легко поддерживать.
Интеграционные тесты должны занимать середину пирамиды.
Используйте этот уровень для проверки бизнес-логики без использования пользовательского интерфейса (UI);
Тестируя за пределами пользовательского интерфейса, вы можете тестировать входы и выходы API или
сервисов без всех сложностей, которые вводит пользовательский интерфейс;
Эти тесты медленнее и сложнее, чем модульные тесты, потому что им может потребоваться доступ к базе
данных или другим компонентам.
Тесты пользовательского интерфейса должны размещаться на вершине пирамиды.
Большая часть вашего кода и бизнес-логики должна быть уже протестирована до этого уровня;
Тесты интерфейса пишутся, чтобы убедиться, что сам интерфейс работает правильно;
Тесты пользовательского интерфейса медленнее и тяжелее в написании и поддержке, поэтому необходимо
сводить их к минимуму.

Question 6

Что такое : ошибка, дефект, сбой, баг?

Answer 6

Ошибка — действие человека, приводящее к неправильному результату.

Дефект — недостаток в компоненте
или системе, способный привести к ситуации сбоя или отказа.

Сбой - событие, при котором система не выполняет требуемую функцию

Баг - несоответствие реального поведения программы с ожидаемым

Question 7

Атрибуты баг репорта

Answer 7

1 Название,
2 краткое описание
3 проект
4 компонент
5 билд
6 окружение
7 на кого назначен
8 серьёзность
9 приоритет,
10 шаги воспроизведения
11 ожидаемый результат
12 фактический результат
13 приложение (пруфы)

Question 8

Тестирование документации относится к функциональному или нефункциональному?

Answer 8

Нефункциональное

Question 9

Тестирование usability относится к функциональному или нефункциональному?

Answer 9

Нефункциональное

Question 10

zero bug policy - Что это?

Answer 10

Найденные баги не отправляются в беклог, а фиксятся сразу

Question 11

В каких случаях нужно проводить регресс?

Answer 11

1. Когда новая фича сделана, и она может затронуть смежный функционал.
2. Когда работа над всеми модулями приложения закончена, и нужно провести регрессионное тестирование
   взаимодействие всех модулей.

Question 12

Регресс и smoke. В чем различие?

Answer 12

Отличаются полнотой охвата. Регресс - полная проверка. Smoke - быстрая проверка критических функций.

Question 13

Отличие sanity тестирования от smoke

Answer 13

В отличии от дымового (Smoke testing), санитарное тестирование (Sanity testing) направлено вглубь
проверяемой функции, в то время как дымовое направлено вширь, для покрытия тестами как можно большего
функционала в кратчайшие сроки.

Question 14

Определение граничных значений

Answer 14

Значения, являющиеся границами классов эквивалентности. При использовании техники граничных значений берутся значения каких-то диапазонов, первое это границы, второе с одним шагом внутри, и как отрицательный с шагом за границу

Question 15

Автоматизированное тестирование - это отдельный вид тестирования?

Answer 15

Автоматизированное тестирование или автоматизация тестирования – это метод тестирования программного обеспечения, который выполняется с использованием специальных программных средств, которые, в свою очередь необходимы для выполнения набора тестовых примеров.

Question 16

Расскажите занимались ли вы статическим тестированием?

Answer 16

1. Анализ и тестирование требований
2. Проверка макетов дизайнеров
3. Архитектура проекта
4. Тестовая документация

Question 17

Что такое end-to-end тестирование?

Answer 17

End-to-end тестирование - это процесс тестирования приложения на всех уровнях: начиная с фронтенда и заканчивая бэкэндом, включая интерфейс и конечные точки

Question 18

Чем отличается серьёзность от приоритета?

Answer 18

Серьезность (Severity) - это атрибут, характеризующий влияние дефекта на работоспособность приложения. Приоритет (Priority) - это атрибут, указывающий на очередность выполнения задачи или устранения дефекта.

Question 19

Компонентное (модульное), интеграционное, системное, приёмочное

Answer 19

1 Компонентное (модульное) тестирование проверяет функциональность и ищет дефекты в частях приложения, которые доступны и могут быть протестированы по-отдельности (модули программ, объекты, классы, функции и т.д.)
2 Интеграционное тестирование предназначено для проверки связи между компонентами, а также взаимодействия с различными частями системы (операционной системой, оборудованием либо связи между различными системами).
3 Системное - проверка как функциональных, так и не функциональных требований в системе в целом.
4 Приёмочное - формальный процесс тестирования, который проверяет соответствие системы требованиям и проводится с целью:

• определения удовлетворяет ли система приемочным критериям;
• вынесения решения заказчиком или другим уполномоченным лицом принимается приложение или нет.

Question 20

Чем отличается системное тестирование от компонентного?

Answer 20

В компонентном тестирование мы тестируем отдельный компонент или функцию внутри него, а при системном тестировании мы тестируем нашу программу, как единое целое, в среде под которую она написана

Question 21

Какие типы тестирования вы знаете?

Answer 21

Функциональное, нефункциональное, структурное, изменений.

Question 22

Что такое состояние и что такое переход ?

Answer 22

Состояние - состояние приложения, которое ожидает одно или более событие. Состояние запоминает входные данные и показывает, как приложение будет реагировать на полученные события
Переход - преобразование одного состояния в другое

Question 23

Из каких этапов состоит процесс тестирования?

Answer 23

1) Общее планирование и анализ требований;
2) Уточнение критериев приёмки;
3) Уточнение стратегии тестирования;
4) Разработка тест-кейсов;
5) Выполнение тест-кейсов;
6) Фиксация найденных дефектов;
7) Анализ результатов тестирования;
8) Отчетность

Question 24

Отличия тест анализа и технического анализа

Answer 24

Тест анализ - процесс поиска и рассмотрения информации необходимой для тестирования (люди со знанием приложения и документация)
Технический анализ - направлен на выявление дефектов в рабочем продукте

Question 25

Чем прямые требования отличаются от косвенных?

Answer 25

Прямые требования прописаны в документации и требованиях, а косвенные требования вытекают из прямых.

Question 26

Какие техники тест-дизайна использовали?

Answer 26

Эквивалентное разбиение, граничные значения, таблица принятия решений, попарное тестирование, тестирование состояний и переходов

Question 27

Премущества и недостатки чек листов в сравнении с тест кейсами

Answer 27

Плюсы: Легко поддерживать, менее вероятен парадокс пестицида
Минусы: вхождение нового сотрудника по чек листам более проблематичное в отличии от тест кейсов

Question 28

Парадокс пестицида

Answer 28

Если повторять те же тесты снова и снова, в какой-то момент этот набор тестов перестанет выявлять новые дефекты

Question 29

Что такое accessibility тестирование?

Answer 29

Тестирование приложения на соответствие рекомендациям документа W3C, а именно положению Web Content Accessibility Guidelines (WCAG)
При Accessibility тестировании специалисты проверяют, насколько то или иное приложение доступно людям с ограниченными возможностями

Question 30

Что такое матрица трассируемости?

Answer 30

Матрицу соответствия требований («Traceability Matrix») – двумерная таблица, содержащая соответствия функциональных требований (functional requirements) продукта и подготовленных тестовых сценариев (test cases)

Question 31

Последовательность создания тестовых артефактов

Answer 31

Тест план, тест кейс/чек лист, баг репорт, отчёт о тестировании

Question 32

Что такое позитивное и негативное тестирование?

Answer 32

Позитивное - Тестирование проводимое с валидными значениями (тестирование на прохождение)
Негативное - тестирование проводимое хотя бы с одним невалидным значением.

Question 33

Как связаны с собой тест-план и тест-кейс?

Answer 33

И то, и другое - тестовая документация. Тест-кейсы пишутся на основе тест-плана.

Question 34

Какие типы интеграций знаете?

Answer 34

Снизу вверх, сверху вниз, большой взрыв

Question 35

В какой момент времени (когда) можно сказать что тестирование закончено?

Answer 35

Рассказать про критерии окончания тестирования:
1 Время
2 Бюджет
3 Все тест кейсы пройдены, найденные баги исправлены и перепроверены

Question 36

Что знаете про waterfall? Подходит ли waterfall для небольших проектов?

Answer 36

Модель процесса разработки программного обеспечения, в которой процесс разработки выглядит как поток, последовательно проходящий фазы анализа требований, проектирования, реализации, тестирования, интеграции и поддержки.
Подходит для небольших проектов

Question 37

Когда на проекте стоит вводить автоматизацию?

Answer 37

Когда есть устоявшиеся части продукта, которые не планируется изменять в ближайшее время. Когда затраты на автоматизацию ниже чем стоимость ручного тестирования.

Question 38

Разница симуляции и эмуляции

Answer 38

Эмулятор старается имитировать максимально полностью работу реального устройства на низкоуровневом слое, взаимодействие с реальным железом, команды процессора.
Симулятор имитирует скорее больше программную среду, его правдоподобность зависит от того насколько полна она проработана, можно сказать создаёт искусственную среду чтобы работать конкретно с некоторыми возможностями реального устройства

Question 39

Что такое тест-план?

Answer 39

Документ, описывающий и регламентирующий перечень работ по тестированию, а также соответствующие техники и подходы, стратегию, области ответственности, ресурсы, расписание и ключевые даты.

Question 40

Что такое качество? Какие есть характеристики качества?

Answer 40

Качество - это степень того, насколько компонент или система соответствует сформулированным и подразумеваемым потребностям различных заинтересованных лиц.

Качество - это степень того, насколько продукт соответствует требованиям и ожиданиям пользователя.

Характеристики:
1. Функциональность - способность по решать задачи, нужные пользователям
2. Надежность - способность ПО поддерживать определённую работоспособность в заданных условиях.
3. Удобство в использовании - способность ПО быть удобным в обучении и использовании, а также привлекательным для пользователей.
4. Эффективность - способность ПО эффективно использовать доступные ресурсы.
5 Портативность - способность ПО сохранять работоспособность при переносе из одного окружения в другое

Question 41

Принципы тестирование

Answer 41

(ТОРТИК)
1. Тестирование доказывает наличие дефектов, а не их отсутствие
2. Отсутствие ошибок - не гарантирует качество
3. Ранее тестирование сохраняет время и деньги
4. Тестирование зависит от контекста
5. Исчерпывающее тестирование невозможно
6. Кластеризация дефектов (скопление дефектов)
7. Парадокс пестицида

Question 42

Чем отличается валидация от верификации

Answer 42

Верификация - это проверка того, что продукт разработан согласно требованиям. Верификация = статическое тестирование

Валидация - поверка того, что продукт соответствует ожиданиям пользователей. Валидация = динамическое тестирование

Question 43

Назовите основные критерии качества требований

Answer 43

Полнота, точность, однозначность, непротиворечивость, необходимость, осуществимость, проверяемость, приоритезируемость

Question 44

Расскажите про жизненный цикл дефекта

Answer 44

1. Тестировщик находит дефект и создает баг репорт [открыт]
2. Программист берет баг репорт в работу [в процессе]
3. Программист завершил исправление дефекта [исправлен]
4. Тестировщик проверяет, что дефект действительно исправлен [тестирование]
5. Тестировщик завершил проверку, дефект исправлен [закрыт]