Usprawnij swój program klasyfikujący obrazki z bazy MNIST. 
Wymagana skuteczność to <b>98.0%</b> na zbiorze testowym.
Zaadoptuj swoje rozwiązanie do obrazków ze zbioru <a href="https://www.cs.toronto.edu/~kriz/cifar.html"><b>CIFAR-10</b></a> 
i osiągnij wymaganą skuteczność <b>52.0%</b>.

<br/><br/>

Termin: 25 października za 1,00 punkt<br/>
Termin: 31 października za 0,50 punktu<br/>

<br/>

Wymagane usprawnienia:
<ul>
<li>
<b>ukryte warstwy</b>: warstwa dostaje na wejściu x (batch wektorów) i przetwarza go drukujac na wyjściu y = dropout(relu(batch_norm( x*W+b )))
</li>
<li>
<b>normalizacja batcha</b>: 
a więc dla każdej ukrytej warstwy mamy dwa dodatkowe wektory wag modelu: wartości oczekiwane i wariancje; Wtedy wektor wyjściowy y z tej warstwy normalizujemy odejmując jego średnią i wydzielając przez pierwiastek wariancji, a wynikowy wektor skalujemy z powrotem do pożądanej wartości oczekiwanej i wariancji. (Po implementacji normalizacji należy wyłączyć biasy b dla ukrytych warstw, gdyż tracą one sens.)
</li>
<li>
można wypróbować również uproszczenie normalizacji batcha w którym wektor wartości oczekiwanych dla warstwy zastępujemy pojedynczą wartością (wspólną dla wszystkich neuronów) i podobnie z wariancją; 
przedziwnie taki wariant daje lepsze wyniki w moim modelu dla MNISTa
</li>
<li>
Exponential Moving Average: przy każdej aktualizacji wag aktualizujemy na boku inne wagi wg. wzoru self.other_weights = self.other_weights * ema_decay + self.weights * (1- ema_decay)
</li>
<li>
gradient liczymy przy pomocy grada z autograda
</li>
<li>
uporządkowanie kodu tak aby: 
(1) wszystkie parametry których model się uczy były w jednym wektorze (ja go nazywam self.weights); 
(2) rozpakowywanie tego wektora proszę zorganizować poprzez generator;
(3) konstruktor modelu powinien mieć taką funkcjonalność, 
aby wywołanie model = NeuralNetworkModel([500,100], **params) tworzyło model z dwiema ukrytymi warstwami, jedną rozmiaru 500 i drugą rozmiaru 100
</li>
<!--
<li>
losowy <b>obrót</b> i <b>skalowanie</b> (kodzik poniżej); proszę przetestować i obejrzeć parę obrazków.
</li>
-->

</ul>

<br/><br/>

Parametry mojej sieci osiągającej 98.5% na MNIST:
<ul>
<li>batch_size = 64</li>
<li>learning_rate = 0.1, można go po iluś epokach obniżyć</li>
<li>sizes = [500]</li>
<li>dropout=0.1</li>
<li>ema_decay = 0.999</li>
</ul>

<br/><br/>

Parametry mojej sieci osiągającej 54.0% na CIFAR-10:
<ul>
<li>batch_size = 32</li>
<li>learning_rate = 0.1</li>
<li>sizes = [100,100]</li>
<li>dropout=0.1</li>
<li>ema_decay = 0.999</li>
<li>epochs = 8</li>
</ul>



Uwagi:
<ul>
<li>
Czas wykonania jednej epoki dla CIFAR-10 to ponad 2 minuty. Proszę wypróbowywać różne ustawienia. Prawdopodobnie można wybrac duże lepsze hiperparametry.
</li>
<li>
Proszę nie kręcić pętli po obrazkach, a zamiast tego używać metod numpy dla tablic (vide dropout, normalizacja i cała reszta).
</li>
<li>
OBOWIĄZKOWO: prezentacja modelu, statystyki, obrazki, wykresy, ... Proszę drukować co epokę wyniki zebrane przez epokę dla zbioru treningowego oraz wyniki dla zbioru walidacyjnego przy normalnych wagach i przy ważonych wagach (EMA).
</li>
<li>
W pierwszych liniach kodu proszę napisać oświadczenie o samodzielności wykonania rozwiązania.
</li>
<li>
Zachęcam do zadawania pytań poprzez email lub forum.
</li>
</ul>

<!--
Oto kodzik do obrotów i skalowania:

<pre>
from skimage import transform

def scale_and_rotate_image(image, angle_range=15.0, scale_range=0.1):
    angle = 2 * angle_range * np.random.random() - angle_range
    scale = 1 + 2 * scale_range * np.random.random() - scale_range

    tf_rotate = transform.SimilarityTransform(rotation=np.deg2rad(angle))
    tf_scale = transform.SimilarityTransform(scale=scale)
    tf_shift = transform.SimilarityTransform(translation=[-14, -14])
    tf_shift_inv = transform.SimilarityTransform(translation=[14, 14])

    image = transform.warp(image.reshape([28, 28]),
                           (tf_shift + tf_scale + tf_rotate + tf_shift_inv).inverse)
    return image
</pre>
-->