Napisz rekurencyjną sieć neuronową w najprostszej możliwej wersji zgadującą kolejne znaki w tekście <i>Pana Tadeusza</i> 
Adama Mickiewicza używając bibliotek autograd/numpy.
Opis architektury można znaleźć <a href="http://karpathy.github.io/2015/05/21/rnn-effectiveness/">tutaj</a>.
<br/><br/>
Scalony <a href="../data/pan_tadeusz_1_10.txt">tekst 10 ksiąg</a> jest naszym zbiorem treningowym, 
<a href="../data/pan_tadeusz_11.txt">11 księga</a> to zbiór walidacyjny, 
a <a href="../data/pan_tadeusz_12.txt">12 księga</a> to zbiór testowy.
Wymagane <a href="https://www.tensorflow.org/tutorials/recurrent">perplexity</a> 
(małe wyjaśnienie ode mnie poniżej ...) na zbiorze testowym to co najwyżej <b>10,00</b>.
Po każdej epoce powinien zostać wygenerowany tekst (próbka ~200 znaków) na podstawie rozkładu prawdopodobieństw modelu dla prefiksu: 
<i>Jam jest Jacek</i>

<br/><br/>

Proszę również zwizualizować działanie modelu przedstawiając grafiki/statystyki podobne do tych w blogpoście powyżej.

<br/><br/>


Termin: 27 listopada za 0,50 punktu<br/>
Termin: 4 grudnia za 0,25 punktu<br/><br/>

Oto parę sugerowanych rozwiązań implementacyjnych:
<ul>
<li>
wszystkie zmienne inicjalizuję szumem z przedziału (-0.1, 0.1); 
</li>
<li>
learning_rate = 1.0
</li>
<li>
wielkość wektora stanu/pamięci: hidden_size = 200;
pamięć inicjalizujemy zerami.
</li>
<li>
Cały tekst (w przypadku zbioru treningowego ciąg długości &gt; 380k) dzielony jest na batche równej długości.
U mnie batch_size = 20. (ale dla degu proponuję zacząć z inną wartością!)
W jednym kroku model karmiony jest pakietem batch_size kawałków tekstu. 
Każdy tekst jest długości num_steps (u mnie także =20; ale dla debugu proponuję zacząć z inną wartością!).
Model próbuje zgadywać kolejne litery równolegle dla tej liczby batch_size wątków.
A więc w efekcie pamięć instancji modelu to tablica rozmiarów: batch_size x hidden_size.
<li>
W konsekwencji model aktualizuje wagi po kroku w którym zgaduje num_steps liter w każdym z wątków batcha.
</li>
<li>
perplexity modelu na zbiorze danych czyli exp(cost(zbior)) można interpretować jako liczbę równoprawdopodobnych możliwości 
do prawdziwej odpowiedzi jakie średnio model widzi; 
a więc dla zupełnie losowych wag perplexity powinno być wielkością alfabetu
</li>
<li>
proszę sprawdzić jak wiele pomagają tzw. <i>embeddings</i>; chodzi tu o to aby zamiast one-hot-wektora literki na wejściu podawać jej reprezentację tej literki jako wektor powiedzmy długości <i>hidden_size</i>;
efektywnie przemnażamy one-hot-wektor przez macierz wielkości <i>vocab_size x hidden_size</i> 
</li>
<li>
gradient clipping: spróbuj obcinać gradient do jakiejś stałej, np. 6? sprawdź czy to pomaga i jak często clipping jest odpalany
</li>


<!--
<li>
mój model po 10 epokach wykręca 5,982 na zbiorze testowym
</li>
-->
</ul>

Uwagi:
<ul>
<li>
Pamiętaj o oświadczeniu o samodzielności wykonania rozwiązania.
Proszę je uzupełniać o źrodła wszystkich pomysłów co do architektury bądź rozwiązań implmentacyjnych, które Państwo zastosowali.
</li>
<li>
Zachęcam do zadawania pytań poprzez email lub forum.
</li>
</ul>