Evaluation of Information Retrieval Systems. Measures. Evaluation on corpora of texts.

Question 1

Какво е необходимо за измерване на ефективността на системите за извличане на информация?

Answer 1

Тестов набор, който се състои от:
* Набор от документи
* Тестов набор от информационни нужди, изразени чрез заявки
* Множество от преценки за уместност

Question 1

Какво означава терминът ‘златен стандарт’ или ‘основна истина’ в контекста на оценка на уместността?

Answer 1

Подход, при който документът е или уместен, или неуместен за информационната нужда

Question 1

Какви мерки се използват за оценяване на ефективността на дадена система?

Answer 1

Прецизност (precision) и връщане (recall)

Question 1

Какво представлява прецизността (P) в извличането на информация?

Answer 1

Частта от извлечените документи, които са уместни: P(уместни|извлечени)

Question 1

Какво представлява връщането (R) в извличането на информация?

Answer 1

Частта от уместните документи, които са извлечени: R(извлечени|уместни)

Question 1

В кои четири категории се класифицират документите?

Answer 1

• Вярно извлчени (true positive)
• Невярно извлчени (false positive)
• Невярно неизвлечени (false negative)
• Вярно неизвлечени (true negatvie)

Question 1

Какво е точността (accuracy)?

Answer 1

Точността измерва частта от правилните класификации

Question 1

Защо точността не е подходяща мярка за извличането на информация?

Answer 1

Поради силната аисметрия на данните, при която голяма част от документите са неуместни

Question 1

Какво е F-мярката?

Answer 1

Претегленото хармонично средно на прецизността и връщането

Question 1

Какво измерва R-точността?

Answer 1

Точността спрямо размера на набора от уместни документи

Question 2

Какво е NDCG моделът?

Answer 2

Модел, подходящ за ситуации, при които няма двоичност на връзките. Изчислява нормализиращ фактор за класиране на документи

Question 3

Какви критерии се използват за измерване на потребителската удовлетвореност?

Answer 3

• Скорост на индексиране
• Скорост на търсене
• Експресивност на езика за запитвания
• Размер на списъка с документи

Question 4

Какво представляват потребителските случаи (use cases) в контекста на оценка на удовлетвореността?

Answer 4

Ситуации, в които хората изпълняват задачи, а техните действия и резултати се анализират

Question 5

Какъв е недостатък от използване на потребителски случаи за оценка на удовлетвореност?

Answer 5

• Отнема много време
• Скъпа операция е

Question 6

Какво е A/B тестване?

Answer 6

Метод, при който малка част от трафика се препраща на случаен принцип към новата система с промяна само на един параметър

Question 7

Защо A/B се предпочита?

Answer 7

Лесно е да се разбере и може да измери малки промени.

Question 8

Какви са двата вида резюмета на документи?

Answer 8

• Статични
• Динамични

Question 9

Какво са статичните резюмета?

Answer 9

Едни и същи за всяка заявка.

Question 10

Какво са динамичните резюмета?

Answer 10

Пригодени за конкретната заявка

Question 11

Какъв е недостатъка на динамичните резюмета?

Answer 11

По-сложен дизайн и изчисления

Question 12

Кога един документ е уместен?

Answer 12

Когато отговаря на изразената информационна нужда, а не защото съдържа съвпадащи думи