Data Sciene MODULE 4 Flashcards
3 tipe neurale netwerke
Convolutional neural networks
Recurrent neural networks
Multi layer perceptrons (MLP) - dis waarna ons gaan ky in hierdie module
Wanneer raak n neurale netwerk n deep neural network?
Wanneer daar meer as twee hidden layers is
3 rules of thumb for deciding on the number of hidden neurons
- Somewhere between the number of outputs and inputs
- Two thirds the size of the input layer plus the number of neurons in the output layer
- Double the size of the input layer
Met neurale netwerke, hoe gaannons te werk met categorical data?
- algoritme kan hierdie tipe data ontvang as n respons
- as jy dit wil gebruik as n inset, moet jy dot eers one hot encode
Shape van die response data met neurale netwerke
Moet n one dimensional array wees. So daar is n ravel() function wat dit kan doen
Np.ravel(x)
Met neurale netwerke, wat is belangrik om te onthou met die insette?
Moet op dieselfde skaal wees.
So daar is n StandardScaler funksie wat gebruik kan word
Wat doen sklearn se standard scaler?
Werk maar basies die z score uit per input waarde, gebaseerd om die gemiddeld en die standaard afwyking
Hoe lyk die waarde van n neuron nou weer?
F(b+som van dir produk tussen alle weights en neuron outputs vanaf vorige layer)
Hoe lyk die aktiverings funskie in die output layer vir regressie en klassifikasie probleme?
Regressie - linear function normally
Classification, sigmoid or softmax function
Weet maar net dat tanh vinniger leer as n sigmoid funskie
Vanwee a dissapearing gradient. Dit is veral n issue as dit voorkom in die begin layers
Wat is die issue as jou learning rate te hoog gestel is?
Dan kan j die heeltyd die minimum overshoot. So jy wil eintlik aanvanklik groot tree he, en dan al hoe kleiner
Stochastic gradient descent
Random subsets are used to train an optimise the neural network over several itterations. Deur dit te herhaal, kan ons dir average error slope brpaal oor die hele area, wat dan kan help om die global minimum te kry (nie net n lokale minimum nie)
So in hierdie kursus doen ons nie deep learning nie, sal koet kyk vir n udemy kursus op dit dalk?