Data Science - MODULE 4 CODE

Question 1

Vir die neurale netwerke, wate word als geimport?

Answer 1

Ook accuracy_score, train_test_split, cross_val_score en dan twee nuwe goed:
From sklearn.neural_network import MLPClassifier
From sklearn.preprocessing import StandardScaler

Question 2

How do you drop missing entries from a dataframe?

Answer 2

Df = df.replace(“?”, np.nan)
Df = df.dropna()

So die vraagteken kan verander na aanleiding van hoe die data lyk

Question 3

As jy klaar gesplit het in x en y, moet jy y flatten vir NN, hoe doen jy dit?

Answer 3

Y = np.ravel(y)

Question 4

Hoe lyk die kode vir die scaling?

Answer 4

Scaler = StandardScaler()
Scaler.fit(X_train)
X_train = scaler.transform(X_train)
X_test = scaler.transform(X_test)

Question 5

Hoe skep jy die regressor vir die neurale netwerk?

Answer 5

Reg = MLPClassifier(max_iter=2000, hidden_layer_sizes=(5,5), random_state=1)
En dan verder is dit dieselfde
Reg.fit(X_train)
Y_pred = reg.predict(X_test)
Accuracy_score(y_pred, y_test)

Question 6

3 pitfalls of neural networks

Answer 6

• not reaching the global minimum error (belangrik om aantal itterasies te verander, ook gebruik te maak van die stochastic gradient descent)
• overfitting (cross validation is baie belangrik, hy het ook gepraat van regulisation?)
• interpreting

Question 7

Ravel jy voor j split?

Answer 7

Dit lyk so

Question 8

Wat bedoel ons met scaling in die konteks van NN

Answer 8

Bereken basies die Z scores van alles, omdat die netwerk baie blootgestel is aan absolute waarde. As daar n veranderlike is met groot waardes, sal dit die netwerk domineer

Question 9

Python het interessante indexing, hoe doen jy n nested for basies sodat die cross validation scores bereken kan word?

Answer 9

For hidden_layer_size in [(i,j) for i in range(3,7) for j in range (3,7)]:
(Indent hom dan)

Question 10

Hoe lyk die cross validation gedeelte dan binne die for by n neurale netwerk met twee layers?

Answer 10

Reg = MLPClassifier(max_iter=2000, hidden_layer_sizes=hidden_layer_size, random_state=1)
Score = cross_val_score(estimator=reg, X=X_train, y=y_train, CV=2)
Validation_scores[hidden_layer_size] = score.mean()

En dan kan jy maar net elke waarde print om te sien hoe die score verander

Question 11

Die imports vir n 3d surface plot?

Answer 11

From mpl_toolkits.mplot3d import Axes3D
From matplotlib import cm
From matplotlib.ticker import linearLocator, FormatStrFormatter

Question 12

Hoe generate ek die x,y, en z values vir die surface plot?

Answer 12

Px,py = np.meshgrid(np.arange(3,7),np.arange(3,7))
Pz = np.array([[validation_scores[(i,j)] for i in range (3,7)] for j in range(3,7)])

Question 13

As jy klaar alles geimport het, en jy het die px,py,pz waardes gevorm, hoe maak ons nou om te plot?

Answer 13

Fig = plt.figure()
Ax = fig.add_subplot(projection=’3d’)
Surf = ax.plot_surface(px,py,pz)
Plt.show()

Question 14

Hoe kan jy die maksimum waarde kry van die validation scores? Wat in (i,j) formaat is

Answer 14

Max(validation_scores.values())

Question 15

Wat is n response function?

Answer 15

So ons kyk dan basies, wanneermons een van die veranderlikes in die inset verander, hoe affekteer dir die predictor value

Question 16

Wat is die algemene stappe om die response function waardes te generate

Answer 16

Copy eers al die x’e
X_design = X.copy()

Dan generate on die eerste ry van die inset met medians
X_design_vec = pd.Dataframe(X_design.median()).transpose()

Dan verander ek.in elke ry die waarde wat se impak rk wil toets, maar jy moet eers die reeks generate
Min_resultant = min(X.loc[:,”Resultant”])
Max_resultant (dieselfe)
Seq = np.linspace(start=min, stop=max, num=50)

Question 17

As jy nou klaar die base ry het, en die vektor van verskille waardes om in die NN wat dan?

Answer 17

Generate eers klaar die nuwe x:
To_predict=[]
For result in seq:(wat nou die vektor is van verskillende waarde)
X_design_vec.loc[0,”Resultant”] = result
To_predict.append(X_design_vec.copy())

En dan op die ou end kan ons nou weer al hierdie vektore bymekaar sit

To_predict = pd.concat(to_predict)
To_predict = scaler.transform(to_predict)
Predictions = clf.predict(to_predict)

En dan kan jy maar net plot

Question 18

Met die MLP classifier, is daar n metode om die probability te predict?

Answer 18

Predictions = clf.predict_proba(to_predict)