Interpretabilidade Flashcards
Como funciona a técnica análise de sensibilidade (Sensitivity Analysis - SA)?
Nessa técnica a relevância (relevance score) de um atributo i da entrada é dado pela derivada parcial ao quadrado
R_i = ((partial f)/(partial x_i))^2
SA calcula para um atributo dado o gradiente da função de saída da NN em relação as variáveis de entrada.
Essas são facilmente obtidas pelo algoritmo backpropagation.
SA não provê explanação sobre o valor da função f(x), mas seu âmbito local, ie, SA explica a variação da função, não o valor da função.
Os atributos mais relevantes são aqueles que tem a saída mais sensibilizada.
Em uma imagem o heatmap indica que pixels (da imagem) fazem o a imagem pertencer mais/menos a classe em vez de o que na imagem faz pertencer a classe.
Quais limitações da técnica SA?
SA mede o efeito local enquanto decomposição mede o efeito global.
Explica o que reduz reduz/aumenta a evidência para a classe em vez de o que evidencia para a classe.
O gradiente da saída em relação a entrada (usado em SA) se torna altamente variante e não-confiável com o aumento de camadas da rede neural.
Compare conceitualmente análise de sensibilidade e Layer-wise Relevance Propagation (LRP).
LRP é uma técnica de propagação reversa, especificamente assinado para explicação.
A técnica LRP está enraizada em um princípio de conservação, onde cada neurônio recebe uma parte da saída da rede e a redistribui para seus predecessores em quantidade igual, até que as variáveis de entrada sejam alcançado.
Rj = sum_k ((ajwjk^+)(sum_j aj wjk^+) )Rk
Explique o conceito de theory-guided data science, o qual vem ganhando atenção em data-intensive science.
é um paradigma emergente que visa alavancar
a riqueza do conhecimento científico para melhorar a eficácia dos modelos de ciência de dados em permitir a descoberta científica.
A visão abrangente do TGDS é introduzir a consistência científica como um componente essencial para a aprendizagem de modelos generalizáveis
Explique o princípio de activation maximization ou class prototypes.
é uma estrutura de análise que procura um padrão de entrada que produza uma resposta máxima do modelo para uma quantidade de interesse
arg max_x f(x) + reg
