CNN

Question 1

Quais as principais características a convoluçào tem que melhorem a rede convolucional?

Answer 1

1. Interações esparsas
   Cada neuron da camada de entrada tem conexões locais (chamado de kernel) não são conectadas com todos neurons da próxima camada como em redes tradicionais
2. Compartilhamento de parâmetros
   Os pesos desses kernels são iguais e compartilhados de forma capturar a mesma característica em qualquer lugar da entrada
3. Equivariância à translação
   Segue como consequência do compartilhamento dos pesos. Se um objeto muda de lugar ele ainda será “detectado”

Question 2

A convolução é naturalmente equivariante a transformações como escala e rotação?

Answer 2

Não, alterações precisam ser feitas para lidar com essas transformações.

Question 3

Quais os três estágios de uma camada convolucional típica?

Answer 3

1. várias convoluções em paralelo nos kernels (estágio da convolução)
2. as saídas da convolução são entradas de um função de ativação não-linear como a ReLU (estágio de detecção - detection stage)
3. estágio de pooling que modifica a saída da camada convolucional
4. 1 max-pooling - maior valor de saída
5. 2 average pooling - média dos valores de saídas.

Question 4

O que é pooling? Quais formas mais comuns de se realizar polling?

Answer 4

A função pooling substitui a saída da rede em uma certa localização com o resumo estatístico de saídas próximas.
-> tecnica de sub-amostragem após uma operação de convolução sobre uma imagem.

max pooling-> reporta a máxima saída dentro de uma viznhança retangular
average pooling -> média sobre uma vizinhança retangular.

Question 5

Como pooling se relaciona a invariância a translação?

Answer 5

pooling ajuda a fazer a representação se tornar aproximadamente invariante a pequenas translações da entrada.

Question 6

De onde vem a inspiração dos operadores convolucionais?

Answer 6

Inspiração no campo de receptores

Os operadores convolucionais foram inspirados na forma como os sensores
visuais cerebrais de mamíferos operam, usando campos de receptores.

Question 7

Explique o que é o hiperparâmetro stride de uma rede convolucional.

Answer 7

Stride conhecido como passo de varredura.

Esse representa a distância entre dois campos receptores consecutivos.
É possível definir o stride para cada dimensão de movimento (horizontal e vertical).

Question 8

Explique o conceito de padding.

Answer 8

É uma tecnica usada para controlar a largura do kernel e o tamanho da saída da camada anterior de forma indepedente.

A idéia principal é manter o tamanho da entrada pela adição de zeros na entrada. Sem isso o tamanho da representação reduz um pixel a menos em cada camada.

Question 9

Quais os tipos mais comuns de zero-padding?

Answer 9

1. no zero-padding (valid convolution)&raquo_space; o tamanho da saída diminui a cada camada. Todos pixel da saída são uma função dos mesmo número de parametros da entrada.
   entrada: tamanho m
   kernel: k
   saída: m-k+1
   Para kernels grandes a redução pode ser dramática. Isso reduz o número de camadas convolucionais que podem incluidas.
2. zero-padding (same convolution )&raquo_space; Uma quantidade adequada de zeros é adicionada para manter o tamanho da saída igual a entrada.
   Pode conter quantas camadas convolucionais o hardware suportar.
   Problema: pixels da entrada próximo a borda influenciam menos pixels de saída que pixels do centro. fazendo os pixels da borda não representativos.
3. Full convolution&raquo_space; Uma quantidade adequada de zeros é adicionada para cada pixel para serem visitados k vezes em cada direção.
   resultando em uma saída: m+k-1

Isso pode fazer ser difícil aprender um único kernel que faz bem em todas as posições no mapa de características.

Question 10

Quais as vantagens de uma CNN sobre uma fully connected DNN para classificação de imagem?

Answer 10

1. economia de conexões sinápticas (parâmetros treinaveis) quando comparado a rede DNN fully connected. Isso é devido ao compartilhamento de parâmetros em cada filtro local (feature map).
2. Invariância a translação (devido também compartilahemento de parâmetros). Em uma rede CNN quando essa aprende um padrão para uma localização essa consegue reconhece-lo em QUALQUER localização da imagem. Uma DNN quando aprende um padrão em uma localização da imagem essa somente conseguirá reconhece-lo naquela localização específica.

No caso de filtros globais, para se detectar o referido objeto sempre que ele estiver presente, independente de sua posição relativa na imagem, é necessário um número muito elevado de filtros globais, supondo inclusive a possibilidade de matching parcial.

CNN requerem um único filtro por objeto a ser detectado e cada filtro local possui um número bem reduzido de conexões sinápticas, quando comparado com filtros globais

Question 11

O que é invariância a translação? Quais principais características das redes convolucinais ajudam nessa invariância?

Answer 11

Não variar conforme a imagem é transladada.

Invariância a translação é uma propriedade muito útil se nós nos importamos mais sobre se alguma caracteristica é presente na imagem do que exatamente onde essa está.

-> Compartilhamento de parâmetros e pooling.