Yinelemeli sinir ağı

Makine öğrenmesi ve veri madenciliği
Problemler Sınıflandırma Kümeleme Regresyon Anomali tespiti Association rules Pekiştirmeli öğrenme Yapılandırılmış tahmin Öznitelik mühendisliği Öznitelik öğrenmesi Öznitelik çıkarımı Online öğrenme Yarı-gözetimli öğrenme Gözetimsiz öğrenme Sıralama öğrenme Gramer Tümevarımı
Gözetimli öğrenme Karar ağacı Birlik öğrenmesi k-YK Doğrusal regresyon Naive Bayes Sinir ağları Lojistik regresyon Relevance vector machine (RVM) Support vector machine (SVM) Rastgele orman
Kümeleme BIRCH Hiyerarşik k-means Beklenti maksimizasyon DBSCAN OPTICS Mean-shift
Boyut indirgeme Faktör analizi CCA ICA LDA NMF PCA t-SNE
Yapılandırılmış tahmin Grafiksel modeller (Bayes ağları, CRF, HMM)
Anomali tespiti k-NN Local outlier factor
Sinir ağları Perseptron Otokodlayıcı Derin öğrenme RNN LSTM Kısıtlı Boltzmann makinesi SOM Kıvrımlı sinir ağları
Pekiştirmeli öğrenme Q-Learning SARSA Temporal Difference (TD)
Teori Bias-variance ikilemi Hesaplamalı öğrenme teorisi Empirik risk minimizasyonu Occam learning PAC learning İstatistiki öğrenme teorisi VC theory
Konferanslar ve dergiler NIPS ICML ML JMLR ArXiv:cs.LG
g t d

Yinelemeli sinir ağı, düğümler arası bağların zamansal bir dizi doğrultusunda yönlü çizge oluşturduğu bir yapay sinir ağı çeşididir. Yaygın olarak İngilizce kısaltması olan RNN (İngilizce: Recurrent neural network) olarak anılır. İleri beslemeli sinir ağından türetilen RNN yöntemi, bir iç durum belleği kullanarak değişik uzunluktaki dizileri işleyebilir.^[1][2][3] Bu sayede yazı tanıma^[4] ve konuşma tanıma^[5][6] gibi problemlere uygulanabilir. Teorik olarak Turing makinesine denk (Turing-complete) olan yinelemeli sinir ağları, herhangi uzunluktaki bir girdiyi işleyebilen herhangi bir programı çalıştırabilir.^[7]

Yinelemeli sinir ağları David Rumelhart'ın 1986 yılındaki çalışmasına dayanır.^[8] Hopfield ağı denen özel bir RNN türü de John Hopfield tarafından 1982 yılında geliştirilmiştir. 1993 yılında, bir RNN çalışması 1000'den fazla katman gerektiren birçok derin öğrenme görevini başarmıştır.^[9] Long short-term memory (LSTM) ağları Hochreiter ve Schmidhuber tarafından 1997 yılında geliştirilmiş ve çeşitli uygulama alanlarında en iyi performansları kaydetmiştir.^[10]

Birçok farklı RNN mimarisi vardır.

Tam yinelemeli sinir ağlarında tüm nöronların çıktısı tüm nöronların girdisine bağlanır. En genel RNN mimarisi budur, çünkü diğer tüm mimariler, buradaki bazı bağların ağırlıkları sıfırlanarak elde edilebilir. RNN'ler iki farklı biçimde gösterilir: kapalı biçimde, özyineleme bağlantıları düğümlerin kendilerinin bir sonraki adımdaki durumuna olan bağlantılarıdır; açılmış biçimde, düğümlerin her zaman adımındaki durumları ayrı ayrı gösterilir.

Geçitli yineleme birimi (İngilizce: gated recurrent unit, GRU) 2014 yılında önerilmiş bir yinelemeli ağ birimidir. Bu birimler, nöronlar arasındaki geçişi düzenleyen bir takım öğeler barındırır.^[11][12] LSTM'e benzer şekilde unutma kapısı bulunur, ancak GRU yapıları genellikle daha basittir.^[13] Polifonik müzik ve konuşma sinyali modelleme gibi işlerde LSTM'e benzer bir başarıyla çalışır.^[14]