algoweb

Question 1

struttura web, motore di ricerca e idea crawling

Answer 1

papillon, tre fasi motore di ricerca, crawler come visita grafo, bontà seed, cicli

Question 2

gestione frontiera offline

Answer 2

concetto crivello, frontiera offline, crivello mercator

Question 3

LSTM tree

Answer 3

perchè, in cosa funzionano bene, operazioni e miglioramenti

Question 4

filtri bloom

Answer 4

idea, operazioni, dimostrazione FPR, miglioramenti

Question 5

politeness e quasi duplicati

Answer 5

sim hash, politness relativa e assoluta, robot.txt, gestione quai duplicati

Question 6

concorrenza web crawler

Answer 6

idea distribuzione per fetching, lock ipotesi, algoritmo per coda con test and set

Question 7

distribuzione carico

Answer 7

possibilità per dividere gli url fra gli host, utilizzo di sistemi esterni (paxos), utilizzo di funzioni locali (carattersitiche funzioni), modulo, permutazioni, min hash e hash coerente

Question 8

architettura web crawler

Answer 8

immagine architettura, tutti gli elementi e i possibili filtri

Question 9

codici (intro)

Answer 9

cos’è un codice, cos’è un codice istantaneo e cosè un istantaneo completo, unario e disuguaglianza craft mcMillan

Question 10

codifica binaria ridotta, conversione codice -> istantaneo, codice istantaneo e probabilità

Question 11

codice universale,pfor-delta,compressione aritmetica, compressione numerica asimmetrica

Question 12

codice binario minimale

Question 13

rappresentazione documento (indexing), struttura dati per effettuare indexing, merge multi via

Question 14

hash minimali perfetti e come utilizzarli per creare un ordinamento lessicografico,Firma per verificare elemento in ordinamento, hash minimale perfetto per verificare appartenenza di un elemento ad un insieme

Answer 14

codici per salvare e strategie per salvare in memoria, lettura codice

Question 15

salvare dati indicizzazione, inversione matrice, hash minimali perfetti e come utilizzarli per creare un ordinamento lessicografico,Firma per verificare elemento in ordinamento, hash minimale perfetto per verificare appartenenza di un elemento ad un insieme

Answer 15

codici per salvare e strategie per salvare in memoria, lettura codice

Question 16

stemming, motore ricerca binario, query or e query and (modo migliore per utilizzare skip-to)

Question 17

idea iteratori per motore query, operatori not, frasali, finestra, skip to

Answer 17

dello skip to parlo dell’implementazione sui vari operatori

Question 18

betwennes, calcolo metriche ranking esogenti e intro ranking spettrali

Answer 18

idea dietro, prodotto matrici, A^t

Question 19

autovettori e autovalori (cosa sono), correlazione autovettore dominante-> ranking spettrale, indice di ceedy

Question 20

pagerank, da ceedy a matrice, catene markov

Question 21

dimostrazione pagerank,indice di kats, hyperbal, computazione su matrici del web

Question 22

funzionamento hyperlog counter e broadboard

Question 23

metriche per valutare il ranking, costruzione groundTruth

Question 24

information theoretical lower bound, strutture succinte, alberi binari, rango e selezione

Question 25

elias fano (costruzione, spazio, ranking e selezione), come usarlo per rappresentare le liste di affissioni e come effettuare le operazioni in maniera ottimale dal punto di vista ingegneristico

Question 26

compressione grafo

Answer 26

metodo “naive”, utilizzo di bitmap, utilizzo di block e copy block, utilizzo di range

Question 27

riduzione di dimensionalità

Answer 27

solo idea

Question 28

product quantization

Answer 28

scopo, tecnica per velocizzare il prodotto, tecnica per limitare lo spazio di ricerca

Question 29

leggere codice efficente, memorizzare indici, inversione di matrice