ANN3(CNN + DL)

Question 1

Deep learning ANN:s har många lager. Men en ANN kan ha många lager utan att vara en DL. Vad är det som utmärker en DL ANN från andra ANN:S?

Answer 1

it is typically viewed as (hierarchically) decomposing the problem
into features

Question 2

Varför ses det som ett problem att det är svårt att förstå varför ett DL network får fram den
outputen den får fram?

Answer 2

For workers using AI in safety critical job areas, e.g. healthcare, self-driving car development, it is important to know why the DNN makes its
decision (e.g. in case it makes a mistake).

Question 3

Nämn några “emerging technologies” som DL ligger bakom

Answer 3

Autonomous Vehicles, Face and Emotion recognition software, Online object recognition and description
Det används också för att förbättra sånt som Gaming opponents, natural language processing(GPT) och robotics

Question 4

När skedde “the deep learning revolution”?

Answer 4

2012

Question 5

Vad finns det för anledningar till att deep learning inte blev grej tidigare?

Answer 5

In the 90s and 00s we had problems of:
*Computational Power
*Availability of Data sets
*Inefficient learning algorithms

Question 6

What has increased the computational power since the 90s/00s and enabled the DL revolution?

Answer 6

• CPU:s power has been increasing since the 70’s, but in the 00s Nvidia GPU:s(graphic processing units) came that speeds up processing of “big data”
• In 2016 came TPUs (tensor processing units) – designed for fast but low precision
  computation (specialized for ANN computation)

Question 7

Vad har löst problemen med tillgänglighet till data(för DL-träning)?

Answer 7

• Availability of big (free) datasets on the internet
• Algorithm sharing (e.g. via Github) people develop their learning algorithms
• Benchmarking new algorithms: new algorithms can be tested on the available big datasets

Question 8

Vad upptäckte Hubel och Wiesel 1959?

Answer 8

Found single cells in primary visual cortex) sensitive to lines at different orientations. important for visual related AI

Question 9

När kom den första CNN och vad hette den?

Answer 9

LeNet-5 architecture developed by LeCun et al. (1998)

Question 10

Vad var det för nätverk som Krizhevsky, Sutskever & Hinton tog fram 2012?

Answer 10

AlexNet: A type of Deep Convolutional Neural Network