Napisz sieci konwolucyjne klasyfikujące obrazki z bazy <a href="http://yann.lecun.com/exdb/mnist/">MNIST</a>.i 
<a href="https://www.cs.toronto.edu/~kriz/cifar.html">CIFAR-10</a>.

<br/><br/>

Za sprawnie działające modele wygenerowane przy pomocy autograd.numpy można otrzymać <b>1,5</b> punktu (termin: 18 stycznia). 
Za analogiczne sieci wygenerowane poprzez TensorFlow można otrzymać kolejne <b>1.5</b> punktu (termin: "koniec semestru", dokładną datę jeszcze ustalimy).

<br/><br/>

Poniżej prezentuję zwięźle architekturę sieci omawianej na zajęciach dla bazy MNIST. Załączam również kilka kawałków kodu uzytecznych dla wersji pisanej w numpy.

Proponowana architektura dla bazy MNIST (dozwolone są małe modyfikacje; w sczególności adaptując sieć do bazy CIFAR-10):
<ul>
<li>
obrazek przycinam do wymiarów 24x24 usuwając losowe skrajne wiersze i kolumny; tak jak wcześniej aplikuję losową rotację i skalowanie
</li>
<li>
przykładam N (domyślnie N=8) filtrów wielkości 3x3; a więc wymiary tablicy batcha zmieniają się następująco: [batch_size, 1, 24, 24] -> [batch_size, N, 22, 22]
</li>
<li>
max pooling 2x2: [-, N, 22, 22] -> [-, N, 11, 11]
</li>
<li>
przykładam 2N filtrów wielkości Nx4x4: -> [-, 2N, 8, 8]
</li>
<li>
max pooling 2x2: -> [-, 2N, 4, 4]
</li>
<li>
przykładam 2N filtrów wielkości 2Nx4x4: -> [-, 2N]
</li>
<li>
przemnażamy przez macierz 2Nx10 dodajemy bias i wkładamy wynikowy wektor do softmax
</li>
</ul>

Każda warstwa sieci konwolucyjnej to sekwencja następujących operacji:
<ul>
<li>
dropout
</li>
<li>
konwolucje
</li>
<li>
normalizacja
</li>
<li>
relu
</li>
<li>
pooling
</li>
</ul>

Oto kawałek mojego kodu do konwolucji:
<pre>
import autograd.scipy.signal
convolve = autograd.scipy.signal.convolve

def apply_conv(x, shape, kernel):
    kernel = np.reshape(kernel, shape)
    conv = convolve(x, kernel, axes=([2, 3], [2, 3]), dot_axes=([1], [0]), mode='valid')
    return conv

...

apply_conv(batch, [N, 2N, 4, 4], weihgts.next()) # 2N filtrow wielkosci Nx4x4
</pre>

Podczas normalizacji, dla każdego "koloru" (współrzędna odpowiadająca wynikom konwolucji jednego ustalonego fitra) liczymy średnią i wariancję wszystkich wartości konwolucji (czyli po wszystkich obrazkach w batchu, i wszystkich przyłożeniach ustalonego filtra do tego obrazka). Następnie odejmujemy średnią i wydzielamy przez pierwiastek z wariacji.
Następnie skalujemy z powrotem do docelowej wairancji i średniej, które są parametrami wyuczanymi przez model.
Oto kodzik liczący wektor wspomnianych średnich:
<pre>
mean = np.mean(x, (0, 2, 3), keepdims=True)
</pre>

Uwagi:
<ul>
<li>
Proszę nie kręcić pętli po obrazkach, a zamiast tego używać metod numpy dla tablic (vide pooling!).
</li>
<li>
W pierwszych liniach kodu proszę napisać oświadczenie o samodzielności wykonania rozwiązania.
</li>
<li>
Zachęcam do zadawania pytań poprzez email lub forum.
</li>
</ul>