Bayesovské modely pro strojové učení (v angličtině)

• 26 hod. přednášky
• 13 hod. cvičení
• 13 hod. projekty

• 51 bodů závěrečná zkouška
• 24 bodů půlsemestrální test
• 25 bodů projekty

Demonstrovat omezení hlubokých neuronových sítí (DNN), které se staly velmi populární v mnoha oborech, ale fungují dobře jen v případě dostatečného množství dobře popsaných trénovacích dat. Presentovat Bayesovské modely (BM) umožňující činit spolehlivá rozhodnutí i v případech omezených dat, jelikož berou v úvahu nepřesnosti v odhadu parametrů modelu. Zavést koncept latentních proměnných, které činí BM modulárními (komplexní modely mohou být tedy rozloženy na jednodušší) a vhodné pro případy s chybějícími daty (např. trénování bez učitele v případě chybějících popisů dat). Uvést základní vědomosti a intuice k BM a pokročit ke složitějším tématům: techniky přibližné inference nutné pro složité modely, modely s nekonečným množstvím směsných komponentů v neparametrických BM, nebo Auto-Encoding Variational Bayes. Kurs je veden v angličtině.

V životě kolem nás není nic jistého. Nejistota nás provází i ve strojovém učení, klasifikaci a rozpoznávání - v základních kursech se naučíte, jak trénovat parametry Gaussovských modelů nebo neuronových sítí, ale jsou opravdu dobře? Můžeme si být jisti výsledkem? Jak dopadne model, pokud ho použijeme na data odlišná od trénovacích? Kurs BAY Vás naučí ničemu nevěřit a pokud možno vše vyjadřovat ne jako tvrdá čísla, ale jako pravděpodobnostní rozložení. Užijete si v něm matematiku, ale jestli to se strojovým učením myslíte vážně, nemůžete se na něj dívat jen jako na spojování krabiček, ale mít pevné matematické základy.

volně dostupné

• Python

1. Teorie pravděpodobnosti a rozdělení pravděpodobnosti. 
2. Inference v Bayesovských sítích
3. Markovovská náhodná pole, Faktorové grafy, Belief Propagation
4. Expectation-Maximization algoritmy (s aplikacemi na model směsice gaussovskéých rozloženní0
5. Bayesovská Inference (apriorní pravděpodobnosti, nejasnost odhadu parametrů, předpovězená hodnota posteriorních pravděpodobností)
6. Inference v Bayesovských modelech s konjugovanými apriorními pravděpodobnostmi. 
7. Inference pomocí  Variational Bayes (VB), Mean-field aproximace
8. Přibližná inference v Bayesovských modelech pomocí Gibbsova vzorkování 
9. Inference pro bayesovský model směsice gaussovskéých rozloženní zalozená na metodě Collapsed Gibbs sampling  
10. Modely s nekonečným počtem směsných komponentů. Dirichletovy procesy. Chinese Restaurant procesy 
11. Pitman-Yor proces pro modelování jazyka. 

Demonstrační cvičení budou následovat okamžitě po přednáškách a budou obsahovat příklady, především v Pythonu. Kód a data pro příklady budou k dispozici studentům a budou tvořit základ projektu.

Projekt bude následovat demonstrační cvičení, jeho náplní bude zpracování poskytnutých reálných nebo simulovaných dat.

• půlsemestrální zkouška (24b)  
• odevzdání a presentace projektu (25b) 
• semestrální zkouška 51b.