Neural Gas

Question 1

Como difere uma Neural Gas de Self-Organizing Maps?

Answer 1

1. Em vez de usar um arranjo topológico fixo de unidades, a NG automaticamente cria e atualiza uma matriz de conectividade entre as unidades, a qual espelha, até certo ponto, as potenciais similaridades existentes no espaço dos dados de entrada – o termo gas vem justamente desta propriedade
2. Cada padrão de entrada apresentado à rede faz com que todos os vetores de pesos sejam ajustados
3. A extensão de tais modificações não é determinada por uma geometria de arranjo, mas pelas distâncias relativas entre as unidades neurais no espaço de entrada.

Question 2

Qual ideia principal do método growing neural gas?

Answer 2

acrescentar novas unidades a uma rede inicialmente pequena ao avaliar medidas estatísticas locais durante os passos de adaptação.

Question 3

Descreva o algorimo associado ao growing neural gas.

Answer 3

Passo 0: comece com duas unidades a e b em posições aleatórias do espaço de entrada (wa e wb, respectivamente).

Passo 1: Seja p(t) o padrão apresentado na iteração t. Encontre as duas unidades mais próximas de p(t) – i.e., i0 e i1.

Passo 2: incremente a idade de todas as arestas emanando de i0.

Passo 3: acrescente a distância entre o padrão de entrada (p(t)) e a unidade mais próxima (i0) ao erro acumulado correspondente:

Eio = Eio + ||p(t) - wio(t)||^2

Question 4

Como NG é capaz de aprender possíveis relações de vizinhança entre vetores de pesos?

Answer 4

através da atualização de uma matriz de conectividade
C in R^nxn

assim que um padrão de entrada é apresentado e todos os vetores de pesos são apropriadamente modificados, uma conexão é criada entre a unidade i0, cujo vetor de pesos tem a menor distância em relação ao padrão de entrada, e a unidade i1, cujo vetor de pesos é o segundo mais próximo a p(t), trocando-se o valor de Cio,i1 de zero para um.

Question 5

Como a idade t(i,j) que pode ser alterada?

Answer 5

1) Quando a idade de uma conexão (i,j) excede um tempo de vida máximo T, a conexão é removida, i.e., recebe o valor zero;
2) Se a conexão Cio,i1 que o algoritmo está tentando criar já existe, a idade tio,i1 correspondente é reinicializada para zero;
3) A idade de todas as conexões que a unidade i0 possui é incrementada após a apresentação de cada padrão.

Question 6

Após todos os padrões de entrada serem apresentados para a rede qual a forma de ajuste dos parâmetros.

Answer 6

q(t) = qi*(qf/qi)^{t/Nt}

onde
q in {mu, lambda, T }
qi e qf são os valores inicial e final do parâmetro, respectivamente, e NT representa o número de épocas de treinamento.