Napisz sieci konwolucyjne klasyfikujące obrazki z bazy <a href="http://yann.lecun.com/exdb/mnist/">MNIST</a> i 
<a href="https://www.cs.toronto.edu/~kriz/cifar.html">CIFAR-10</a>. 
Wymagana skuteczność na zbiorze testowym MNIST to <b>98.8%</b>.
Wymagana skuteczność na zbiorze testowym CIFAR-10 to <b>54.0%</b>

<br/><br/>

Termin: 7 listopada za 1,00 punkt<br/>
Termin: 14 listopada za 0,50 punktu<br/><br/>

Proponowana architektura dla bazy MNIST (dozwolone są modyfikacje; w szczególności adaptując sieć do bazy CIFAR-10):
<ul>
<li>
przykładam N (domyślnie N=8) filtrów wielkości 3x3; a więc wymiary tablicy batcha zmieniają się następująco: [batch_size, 1, 28, 28] -> [batch_size, N, 26, 26]
</li>
<li>
max pooling 2x2: [-, N, 26, 26] -> [-, N, 13, 13]
</li>
<li>
przykładam 2N filtrów wielkości Nx4x4: -> [-, 2N, 10, 10]
</li>
<li>
max pooling 2x2: -> [-, 2N, 5, 5]
</li>
<li>
przemnażamy przez macierz 2N * 5 * 5 x 10 dodajemy bias i wkładamy wynikowy wektor do softmaxa
</li>
</ul>

Każda warstwa sieci konwolucyjnej to sekwencja następujących operacji:
<ul>
<li>
dropout
</li>
<li>
konwolucje
</li>
<li>
normalizacja
</li>
<li>
reLU
</li>
<li>
pooling
</li>
</ul>



Oto kawałek mojego kodu do konwolucji:
<pre>
import autograd.scipy.signal
convolve = autograd.scipy.signal.convolve

def apply_conv(x, shape, kernel):
    kernel = np.reshape(kernel, shape)
    conv = convolve(x, kernel, axes=([2, 3], [2, 3]), dot_axes=([1], [0]), mode='valid')
    return conv

...

apply_conv(batch, [N, 2N, 4, 4], weights.next()) # 2N filtrow wielkosci Nx4x4
</pre>

Podczas normalizacji, dla każdego "koloru" (współrzędna odpowiadająca wynikom konwolucji jednego ustalonego fitra) liczymy średnią i wariancję wszystkich wartości konwolucji (czyli po wszystkich obrazkach w batchu, i wszystkich przyłożeniach ustalonego filtra do tego obrazka). Następnie odejmujemy średnią i wydzielamy przez pierwiastek z wariacji.
Następnie skalujemy z powrotem do docelowej wariancji i średniej, które są parametrami wyuczanymi przez model.
Oto kodzik liczący wektor wspomnianych średnich:
<pre>
mean = np.mean(x, (0, 2, 3), keepdims=True)
</pre>

Uwagi:
<ul>
<li>
Proszę nie kręcić pętli po obrazkach, a zamiast tego używać metod numpy dla tablic (vide pooling!).
</li>
<li>
W pierwszych liniach kodu proszę napisać oświadczenie o samodzielności wykonania rozwiązania.
</li>
<li>
Zachęcam do zadawania pytań poprzez email lub forum.
</li>
</ul>