LSTM e Dropout Flashcards
O que é dropout e qual a sua principal função?
Dropout é do que a eliminação aleatória de neurônios da rede neural, juntamente com suas conexões sinápticas, durante o treinamento da rede neural, visando a redução acentuada de um fenômeno
denominado de co-adaptação.
treinar uma rede neural com 2^n com n unidades aplicando dropout pode ser interpretado como o treinamento de redes neurais mais enxutas e que compartilham pesos sinápticos
Em fase de operação, após terminado o treinamento usa-se uma única rede neural completa sem sofrer dropout, com cada peso obtido após o treinamento multiplicado pela probabilidade de remoção de sua correspondente unidade.
Aumentar sua capacidade de generalização.
Como calcular os pesos em um treinamento empregando dropout?
Após terminado o treinamento com dropout (eliminando aleatoriamente os neurônios) usa-se uma única rede neural completa sem sofrer dropout, com cada peso obtido após o treinamento multiplicado pela probabilidade de remoção de sua correspondente unidade.
Em lugar de se obter a média do comportamento de entrada-saída de 2^n redes neurais mais enxutas, o que seria inviável computacionalmente
No contexto de sistemas dinâmicos, explique os conceitos de estado, dinâmica e trajetória no espaço de estados.
O estado corresponde a um ponto (ou coordenada) no espaço de estados. Formalmente, o estado de um sistema é formado por um conjunto de valores de grandezas físicas, necessário e suficiente para caracterizar a situação física deste sistema. Este pode ser contínuo ou discreto.
A dinâmica é a lei de variação do estado no tempo. Podendo ser continua ou discreta. A dinâmica continua indica a direção de variação do estado enquanto que a dinâmica discreta indica o próximo estado.
A trajetória descreve a evolução no tempo do estado do sistema, ie, o deslocamento de um ponto no espaço de estados regido pela dinâmica do sistema.
Explique como operam as quatro estruturas internas de um bloco LSTM.
forget gate: indica o que deve ser preservado para o instante t do cell state Ct-1
input gate: decide em que grau o cell state serão atualizados.
Cell state: composição aditiva de
Ct = ftCt-1 + it\tilde{C}_t
Uma camada de neuronios com funçao tanh fornece o \tilde{C}_t a ser adicionado ao vetor de estados
output gate; indica em que grau cada elemento de Ct será liberado.
