Napisz rekurencyjną sieć neuronową z komórką LSTMA zgadującą kolejne znaki w tekście <i>Pana Tadeusza</i> 
Adama Mickiewicza używając bibliotek autograd/numpy.
Opis architektury można znaleźć <a href="http://colah.github.io/posts/2015-08-Understanding-LSTMs/">tutaj</a>.
<br/><br/>
Scalony <a href="../data/pan_tadeusz_1_10.txt">tekst 10 ksiąg</a> jest naszym zbiorem treningowym, 
<a href="../data/pan_tadeusz_11.txt">11 księga</a> to zbiór walidacyjny, 
a <a href="../data/pan_tadeusz_12.txt">12 księga</a> to zbiór testowy.
Wymagane <a href="https://www.tensorflow.org/tutorials/recurrent">perplexity</a> na zbiorze testowym to co najwyżej <b>5,99</b>.
Po każdej epoce powinien zostać wygenerowany tekst (próbka ~200 znaków) na podstawie rozkładu prawdopodobieństw modelu dla prefiksu: 
<i>Jam jest Jacek</i>

<br/><br/>

Proszę również zwizualizować działanie modelu przedstawiając grafiki/statystyki podobne do tych w blogpoście powyżej.

<br/><br/>

Termin: 30 listopada za 0,50 punktu<br/>
Termin: 6 grudnia za 0,25 punktu<br/><br/>

Oto parę sugerowanych (albo obowiązujących) rozwiązań implementacyjnych:
<ul>
<li>
wszystkie zmienne inicjalizuję szumem z przedziału (-0.1, 0.1); 
no poniekąd z jednym wyjątkiem ... bias w forget-gate jest szumem dookoła 1, więc w momencie jego aplikacji dodaję 1 
</li>
<li>
learning_rate = 1.0
</li>
<li>
wielkość wektora stanu/pamięci: hidden_size = 200;
pamięć inicjalizujemy zerami.
</li>
<li>
Proszę zaimplementować klasyczny model LSTM. 
Zatem bez dodatkowych wizjerów (peepholes). 
Każda bramka powinna mieć swojego biasa, a bramka forget powinna mieć biasa przesuniętego na dodatnią stronę.
</li>
<li><i>embeddings</i> -- patrz poprzedni projekt/li>
<li>
dropout wewnatrz warstw:<br/>
<i>A Theoretically Grounded Application of Dropout in Recurrent Neural Networks</i> by Gal and Gahramani
[<a href="https://arxiv.org/abs/1512.05287">arXiv</a>,
<a href="http://mlg.eng.cam.ac.uk/yarin/PDFs/deml2016-poster.pdf">poster-pdf</a>]
</li><li>
dropout pomiedzy warstwami:<br/>
<i>Recurrent Neural Network Regularization</i> by Zaremba et al.
[<a href="https://arxiv.org/abs/1409.2329">arXiv</a>]
</li>
<li>
gradient clipping
</li>
<!--
<li>
mój model po 10 epokach wykręca 5,982 na zbiorze testowym
</li>
-->
</ul>

Uwagi:
<ul>
<li>
Pamiętaj o oświadczeniu o samodzielności wykonania rozwiązania.
Proszę je uzupełniać o źrodła wszystkich pomysłów co do architektury bądź rozwiązań implmentacyjnych, które Państwo zastosowali.
</li>
<li>
Zachęcam do zadawania pytań poprzez email lub forum.
</li>
</ul>