Aula 6 Flashcards
O que é deep learning?
O deep learning engloba uma série de técnicas e algoritmos de RNA,aprofundando conceitos de redes neurais alimentadas à frente (feed forward),camadas de entrada, ocultas e de saída, função custo, envolvendo o uso de outros tipos de redes tais como redes convolucionais ou convolutivas(Convolutional Neural Networks-CNN), redes neurais recorrentes (Recurrent
Neural Networks-RNN), descida estocástica de gradiente (Stochastic Gradient
Descent) e máquinas de Boltzmann restritas (Restricted Boltzmann Machine –
RBM). Tais técnicas estão também aliadas ao uso de hardware contendo
unidades de processamento gráfico (Graphical Processing Units-GPU) e computação baseada em GPU como tecnologia central para possibilitar o deep
learning
O que são redes convolutivas?
Redes Convolutivas (Convolutional Neural Networks - CNN): são simplesmente redes neurais que usam convolução no lugar da multiplicação
geral da matriz em pelo menos uma de suas camadas.
O que são redes neurais recorrentes?
Redes Neurais Recorrentes (RNN) são um tipo de rede neural projetada para trabalhar com dados sequenciais, como texto ou séries temporais. Elas se destacam em tarefas que envolvem sequências de dados, ao contrário das redes convolucionais, que são ótimas para imagens. Aqui está um resumo do desenvolvimento das redes neurais ao longo do tempo:
- Perceptron (1958): O primeiro modelo de rede neural.
- Adaline (1960): Introduziu a ideia de aprendizado adaptativo.
- Neocognitron (1980): Um precursor das redes convolucionais.
- MLP (1991): Redes neurais multicamadas que se tornaram populares.
- LeNet-5 (1998): Um dos primeiros modelos de rede convolucional bem-sucedidos.
- DBN (2006): Redes de Crença Profunda.
- DBN-GPU (2009): Redes de Crença Profunda aceleradas por GPUs.
- CNN Multi-GPU (2012): Redes Convolucionais usando várias GPUs.
- COTS HPC (2013): Computação de Alto Desempenho com Hardware Comum.
- GoogLeNet (2014): Uma arquitetura avançada de rede convolucional.
Enquanto as redes convolucionais (CNN) são feitas para processar grades de valores, como pixels de uma imagem, as redes neurais recorrentes (RNN) são feitas para processar sequências de valores, como palavras em uma frase ou notas em uma música. As RNNs podem lidar com sequências muito longas e de tamanhos variados, o que seria difícil para redes que não são especializadas em dados sequenciais. Isso as torna muito úteis para tarefas como tradução automática, análise de séries temporais e reconhecimento de fala.
O que são máquinas de boltzmann restritas?
Máquinas de Boltzmann Restritas (Restricted Boltzmann Machine –RBM): refere-se a uma rede cuja arquitetura contém neurônios estocásticos. As
máquinas de Boltzmann foram originalmente introduzidas como uma abordagem conexionista genérica para aprender distribuições de probabilidade arbitrárias sobre vetores binários. A máquina de Boltzmann se torna mais potente quando nem todas as variáveis são observadas. Nesse caso, as variáveis latentes podem agir de forma semelhante às unidades ocultas em um perceptron multicamadas e modelar interações de ordem superior entre as unidades visíveis. As máquinas de Boltzmann restritas são alguns dos blocos de construção mais comuns de modelos probabilísticos para deep learning.
Como é composta uma rede convolucional?
Uma rede convolucional é composta de várias camadas que desempenham funções distintas, à medida que vai processando os valores de
entrada. Além das camadas que executam a convolução, existem outras que fazem a operação de pooling (que poderia seria traduzida como agrupamento ou redução de resolução), camadas com função de ativação específica como a
retificação linear e camadas que fazem a poda (dropout). A camada final geralmente é uma camada totalmente conectada, a qual deve ser treinada de
maneira similar ao MLP para fornecer os resultados.
O que é convolução?
A convolução é uma operação muito aplicada em processamento e
filtragem de sinais e imagens. A definição matemática de convolução é uma operação linear que atua sobre duas funções dadas, gerando uma terceira qu é a soma do produto que se desloca ao longo de uma região entendida como a
superposição entre elas, em um domínio contínuo
O que é retificação linear?
Nas redes convolucionais, após a camada de convolução propriamente dita, é colocada uma camada de retificação linear. Em uma camada de
retificação, existem unidades denominadas de retificadores lineares (também denominados de ReLU – Rectifier Linear Unit). Esta retificação consiste em uma
função de ativação aplicada sobre a saída da operação de convolução.
O que é pooling?
Após a camada de convolução e de retificação linear, a próxima operação
essencial em redes convolutivas é a pooling. Uma camada de pooling produz na sua saída uma estatística dos vizinhos próximos que são considerados como entrada. Por exemplo, caso se considere uma camada de pooling com uma entrada 5x5 produzindo uma saída 3x3, cada pixel na saída irá corresponder a uma janela 3x3 que se desloca sobre a entrada 5x5 . No caso de a operação resultar no valor máximo da janela, a operação se denomina de max pooling. Ou seja, para cada janela há um ponto vencedor que será o ponto de
saída. Outras operações de pooling podem ser efetuadas, como o uso de média simples ou ponderada.
O que é flatten(Achamento)?
A camada de achatamento em uma CNN faz, na verdade, o alinhamento das camadas bidimensionais em uma camada com uma dimensão apenas. Ela
não faz nenhum processamento, sendo útil apenas para o alinhamento para as camadas totalmente conectadas que irão executar a classificação.
O que é uma rede totalmente conectada?
A rede totalmente conectada, como camada final de uma rede
convolucional, implementa o processo de classificação. Isto é implementado por um perceptron multicamada (MLP), que utiliza como entrada o vetor após a camada de flatten. O treinamento atualiza os pesos sinápticos que conectam as
unidades entre si. A camada de saída permite que se utilize os neurônios para indicar as classes das amostras de treinamento ou de teste. É comum o uso do acrônimo FC para indicar a última camada da rede convolucional. As camadas
com neurônios totalmente conectados também são denominadas de camadas
densas (dense layers)
O que é tensor?
Um tensor é uma estrutura que generaliza vetores ou matrizes para dimensões mais altas. Dessa forma, em um tensor, existe um conjunto de números organizados em um formato específico
