長・短期記憶

機械学習および データマイニング
問題 分類 クラスタリング 回帰 異常検知 相関ルール（英語版） 強化学習 構造化予測（英語版） 特徴量設計（英語版） 表現学習（英語版） オンライン学習（英語版） 半教師あり学習（英語版） 教師なし学習 ランキング学習（英語版） 文法獲得（英語版）
教師あり学習（分類 • 回帰） 決定木（英語版） アンサンブル （バギング、ブースティング、 ランダムフォレスト） k-NN 線形回帰 単純ベイズ ニューラルネットワーク ロジスティック回帰 パーセプトロン 関連ベクトルマシン (RVM)（英語版） サポートベクトルマシン (SVM)
クラスタリング BIRCH（英語版） 階層的（英語版） k平均法 期待値最大化法 (EM) DBSCAN OPTICS（英語版） 平均値シフト（英語版）
次元削減 因子分析 CCA ICA LDA（英語版） NMF（英語版） PCA t-SNE
構造化予測（英語版） グラフィカルモデル ベイジアンネットワーク CRF HMM
異常検知 k-NN 局所外れ値因子法
ニューラルネットワーク オートエンコーダ ディープラーニング DeepDream 多層パーセプトロン RNN LSTM GRU 制約ボルツマンマシン（英語版） SOM CNN
強化学習 TD学習 Q学習 SARSA
理論 偏りと分散のトレードオフ 計算論的学習理論（英語版） 経験損失最小化（英語版） オッカム学習（英語版） PAC学習 統計的学習（英語版） VC理論（英語版）
学会・論文誌等 NIPS（英語版） ICML（英語版） ML（英語版） JMLR（英語版） ArXiv:cs.LG
全般 統計学および機械学習の評価指標
Category:機械学習 Category:データマイニング
表 話 編 歴

長・短期記憶（ちょう・たんききおく、英: Long short-term memory、略称: LSTM）は、深層学習（ディープラーニング）の分野において用いられる人工回帰型ニューラルネットワーク（RNN）アーキテクチャである^[1]。標準的な順伝播型ニューラルネットワークとは異なり、LSTMは自身を「汎用計算機」（すなわち、チューリングマシンが計算可能なことを何でも計算できる）にするフィードバック結合を有する^[2]。LSTMは（画像といった）単一のデータ点だけでなく、（音声あるいは動画といった）全データ配列を処理できる。例えば、LSTMは分割されていない、つながった手書き文字認識^[3]や音声認識^[4][5]といった課題に適用可能である。ブルームバーグ ビジネスウィーク誌は「これらの力がLSTMを、病気の予測から作曲まで全てに使われる、ほぼ間違いなく最も商業的なAIの成果としている」と書いた^[6]。

一般的なLSTMユニットは、セル、入力ゲート、出力ゲート、および忘却ゲートから構成される。セルは任意の時間間隔にわたって値を記憶し、3つの「ゲート」はセルを出入りする情報の流れを制御する。

LSTMネットワークは時系列データに基づく分類、処理（英語版）、予測によく適している。これは、LSTMネットワークが時系列中の重要な事象間の未知の期間の時間差となることができるためである。LSTMは、従来のRNNを訓練する際に遭遇しうる勾配爆発および消失問題に対処するために開発された。ギャップの長さに対する相対的な鈍感さが、多数の応用におけるRNNや隠れマルコフモデル、その他の系列学習法に対するLSTMの優位性である^[要出典]。

LSTMは1997年にゼップ・ホッフライター（英語版）とユルゲン・シュミットフーバー（英語版）によって提唱された^[1]。Constant Error Carousel（定誤差カルーセル、CEC）ユニットの導入によって、LSTMは勾配爆発および消失問題を解決しようとする。LSTMブロックの最初の型はセル、入力ゲート、および出力ゲートを含んでいた^[7]。

1999年、フェリックス・ゲルス（英語版）と彼のアドバイザーのユルゲン・シュミットフーバーとFred CumminsはLSTMアーキテクチャへ忘却ゲート（「保持ゲート」とも）を導入した^[8]。これはLSTMが自身の状態をリセットすることを可能にする^[7]。2000年、 ゲルス、シュミットフーバー、CumminsはLSTMアーキテクチャへ覗き穴（peehole）結合（セルからゲートへの結合）を追加した^[9]。加えて、出力活性化関数は削除された^[7]。

2014年、Kyunghyun Cho（조 경현）らはゲート付き回帰型ユニット（Gated recurrent unit、GRU）と呼ばれる単純化した変異型を提案した^[10] 。

その他の成功の中で、LSTMは自然言語テキスト圧縮^[11]と分割されていないつながった手書き文字認識^[12]で新記録を達成し、IDCAR（英語版）手書き文字認識大会（2009年）で優勝した。LSTMネットワークは2013年に、古典的なTIMIT（英語版）自然音声データセットで新記録とな音素誤り率17.7%を達成したネットワークの主要な構成要素であった^[13]。

2016年時点で、Google、Apple、Microsoftを含む主要なテクノロジー企業は新製品の基本要素としてLSTMを使用していた^[14]。例えば、Googleはスマートフォン上での音声認識^[15][16]、スマートアシスタントAllo^[17]、およびGoogle翻訳^[18][19]のためにLSTMを使用した。AppleはiPhone上の「Quicktype」機能^[20][21]、Siri^[22]のためにLSTMを使用する。AmazonはAmazon AlexaのためにLSTMを使用する^[23]。

2017年、FacebookはLSTMネットワークを使用して毎日45億回の自動翻訳を実行した^[24]。

2017年、ミシガン州立大学、IBM基礎研究所、コーネル大学の研究者らは、Knowledge Discovery and Data Mining（KDD）会議において研究発表を行った^[25][26][27]。彼らの研究は、広く使われるLSTMニューラルネットワークよりも特定のデータセットに対して優れた性能を示す新規ニューラルネットワークに関するものである。

さらに2017年、Microsoftは16万5千語の語彙を含むSwitchboardコーパスにおいて95.1%の認識制度に達したと報告した。この手法は「対話セッションに基づく長・短期記憶」を使用した^[28]。

理論的には、古典的な（バニラな）RNNは入力配列における任意の長期依存性を追跡できる。バニラRNNの問題は本質的に計算的（あるいは実務的な）なものである。誤差逆伝播法を使ってバニラRNNを訓練する時、逆伝播される勾配は「消失」（すなわち勾配がゼロに収束する）あるいは「爆発」（すなわち無限に発散する）しうる。これは、計算が有限精度数（英語版）を用いる過程を含むためである。LSTMユニットを用いるRNNは、LSTMユニットが勾配を「不変」のまま流れることも可能とするため、勾配消失問題を部分的に解決する。しかしながら、LSTMネットワークは勾配爆発問題にはまだ悩まされうる^[29]。

複数のLSTMユニットのアーキテクチャが存在する。一般的なアーキテクチャは、セル（LSTMユニットの記憶部分）と大抵ゲートと呼ばれるLSTMユニット内部の情報の流れの3つの「調整器」（入力ゲート、出力ゲート、忘却ゲート）から構成される。LSTMユニットの一部の変異型はこれらのゲートの1つ以上を持たない、あるいは別のゲートを持つこともある。例えばゲート付き回帰型ユニット（GRU）は出力ゲートを持たない。

直感的には、「セル」は入力配列中の要素間の依存性を追跡するために必要である。「入力ゲート」はセルへの新たな値の流れの度合いを制御し、「忘却ゲート」はセル中に値が留まる度合いを制御し、「出力ゲート」はセル中の値がLSTMユニットの出力活性化を計算するために使われる度合いを制御する。LSTM「ゲート」の活性化関数にはロジスティック関数（英語版）が使われることが多い。

LSTMゲートへの、そしてLSTMからの結合が存在し、そのうちいくつかは回帰結合（リカレント）している。訓練中に学習される必要があるこれらの結合の重みが、ゲートがどのように動作するかを決定する。

以下の方程式において、小文字の変数はベクトルを表わす。行列${\displaystyle W_{q}}$および${\displaystyle U_{q}}$はそれぞれ入力および回帰結合の重みを含み、添字${\displaystyle _{q}}$は、計算される活性化に依存して、入力ゲート${\displaystyle i}$、出力ゲート${\displaystyle o}$、忘却ゲート${\displaystyle f}$、または記憶セル${\displaystyle c}$になりうる。この節では、ゆえに「ベクトル表記」を使用する。そのため、例えば、${\displaystyle c_{t}\in \mathbb {R} ^{h}}$は単に1つのLSTMユニットの1つのセルではなく、${\displaystyle h}$個のLSTMユニットのセルを含む。

忘却ゲートを持つLSTMユニットの順方向通路のための方程式のコンパクト形は以下の通りである^[1][9]

${\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}h_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}x_{t}+U_{i}h_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}x_{t}+U_{o}h_{t-1}+b_{o})\\c_{t}&=f_{t}\circ c_{t-1}+i_{t}\circ \sigma _{c}(W_{c}x_{t}+U_{c}h_{t-1}+b_{c})\\h_{t}&=o_{t}\circ \sigma _{h}(c_{t})\end{aligned}}}$

上式において、初期値は${\displaystyle c_{0}=0}$および${\displaystyle h_{0}=0}$、演算子${\displaystyle \circ }$はアダマール積（要素ごとの積）を示す。添字${\displaystyle t}$は時間ステップにインデックスを付ける。

• ${\displaystyle x_{t}\in \mathbb {R} ^{d}}$: LSTMユニットへの入力ベクトル
• ${\displaystyle f_{t}\in \mathbb {R} ^{h}}$: 忘却ゲートの活性化ベクトル
• ${\displaystyle i_{t}\in \mathbb {R} ^{h}}$: 入力ゲートの活性化ベクトル
• ${\displaystyle o_{t}\in \mathbb {R} ^{h}}$: 出力ゲートの活性化ベクトル
• ${\displaystyle h_{t}\in \mathbb {R} ^{h}}$: LSTMユニットの出力ゲートとも呼ばれる隠れ状態ベクトル
• ${\displaystyle c_{t}\in \mathbb {R} ^{h}}$: セル状態ベクトル
• ${\displaystyle W\in \mathbb {R} ^{h\times d}}$、${\displaystyle U\in \mathbb {R} ^{h\times h}}$、${\displaystyle b\in \mathbb {R} ^{h}}$: 訓練中に学習される必要がある重み行列およびバイアスベクトルのパラメータ

上付き文字${\displaystyle d}$および${\displaystyle h}$はそれぞれ入力要素の数および隠れユニットの数を示す。

• ${\displaystyle \sigma _{g}}$: シグモイド関数
• ${\displaystyle \sigma _{c}}$: 双曲線正接関数
• ${\displaystyle \sigma _{h}}$: 双曲線正接関数または、覗き穴LSTMの論文^[30][31]が提案しているように${\displaystyle \sigma _{h}(x)=x}$

右図は覗き穴結合を持つLSTMユニット（すなわち覗き穴LSTM）の図式的な表現である^[30][31]。覗き穴結合によって、ゲートが定誤差カルーセル（CEC。その活性化がセル状態である）へアクセスすることが可能となる^[32]。${\displaystyle h_{t-1}}$は使われず、ほんどの場所で${\displaystyle c_{t-1}}$が代わりに使われる。

${\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}x_{t}+U_{f}c_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}x_{t}+U_{i}c_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}x_{t}+U_{o}c_{t-1}+b_{o})\\c_{t}&=f_{t}\circ c_{t-1}+i_{t}\circ \sigma _{c}(W_{c}x_{t}+U_{c}c_{t-1}+b_{c})\\h_{t}&=o_{t}\circ \sigma _{h}(c_{t})\end{aligned}}}$

覗き穴畳み込みLSTM^[33]。${\displaystyle *}$は畳み込み演算子を示す。

${\displaystyle {\begin{aligned}f_{t}&=\sigma _{g}(W_{f}*x_{t}+U_{f}*h_{t-1}+V_{f}\circ c_{t-1}+b_{f})\\i_{t}&=\sigma _{g}(W_{i}*x_{t}+U_{i}*h_{t-1}+V_{i}\circ c_{t-1}+b_{i})\\o_{t}&=\sigma _{g}(W_{o}*x_{t}+U_{o}*h_{t-1}+V_{o}\circ c_{t-1}+b_{o})\\c_{t}&=f_{t}\circ c_{t-1}+i_{t}\circ \sigma _{c}(W_{c}*x_{t}+U_{c}*h_{t-1}+b_{c})\\h_{t}&=o_{t}\circ \sigma _{h}(c_{t})\end{aligned}}}$

LSTMを用いるRNNは、一連の訓練において、教師あり学習のやり型で訓練できる。訓練では、最適化プロセス中で必要な勾配を計算するための通時的誤差逆伝播法（英語版）（Backpropagation through time、BPTT）と組み合わせて最急降下法のような最適化アルゴリズムを使って、（LSTMネットワークの出力層における）誤差の微分に比例してLSTMネットワークの個々の重みを変化させる。

標準的なRNNに対して最急降下法を使用することの問題点は、誤差勾配が重要な事象間の時間のずれの大きさにしたがって指数関数的にすばやく消失することである。これは、${\displaystyle W}$のスペクトル半径が1よりも小さいと${\displaystyle \lim _{n\to \infty }W^{n}=0}$となるためである^[34][35]。

しかしながら、LSTMユニットを使うと、誤差値が出力層から逆伝播される時、誤差はLSTMユニットのセル内に留まる。この「誤差カルーセル」はLSTMユニットのゲートが値のカットオフを学習するまで、個々のゲートへ誤差を絶えずフィードバックする。

多くの応用がLSTM RNNのスタックを使用し^[36]、訓練セット中のラベル配列の確率を最大化する重み行列を探すために、それらをコネクショニスト時系列分類（英語版）（CTC）によって訓練する^[37]。CTCはアラインメントと認識の両方を達成する。

特に「教師」（すなわち訓練ラベル）が存在しない時は、Neuroevolution^[38]または⽅策勾配法によってLSTM（の一部）を訓練するのが有利なことがありうる。

LSTMユニットを持つRNNを教師なしで訓練した複数の成功例がある。

2018年、ビル・ゲイツは、OpenAIによって開発されたボットがゲームDota 2で人間を破ることができた時、これを「人工知能の進歩における巨大な一里塚」と呼んだ^[39]。OpenAI Fiveは5つの独立した、しかし協調したニューラルネットワークから成る。個々ネットワークは教師なしで方策勾配法によって訓練され、現在のゲーム状態を見て、複数の可能な動作から動作を出す単層の1024ユニットLSTMを含む^[39] 。

2018年、OpenAIはかつてないほどの器用さで物体を巧みに扱う人間のようなロボットハンドを制御するために方策勾配法によって同様のLSTMを訓練した^[40]。

2019年、DeepMindのプログラムAlphaStarは複雑なビデオゲームスタークラフトに秀でるためにディープなLSTMコアを使用した^[41]。これは、人工汎用知能へ向けた重要な前進と見なされた^[41]。

LSTMの応用には以下の事柄が含まれる。

• ロボット制御（英語版）^[42]
• 時系列予想^[38]
• 音声認識^[43][44][45]
• リズム学習^[31]
• 作曲^[46]
• 文法学習^[47][30][48]
• 手書き文字認識^[49][50]
• 人物行動認識^[51]
• 手話学習^[52]
• タンパク質相同性検出^[53]
• タンパク質の細胞内局在の予測^[54]
• 時系列異常検出^[55]
• ビジネスプロセス管理の分野におけるいくつかの予測課題^[56]
• 医療パスにおける予測^[57]
• 意味的構文解析（英語版）^[58]
• 被写体共セグメンテーション（英語版）^[59][60]

• 1 the Road（英語版）
• 回帰型ニューラルネットワーク
• ディープラーニング
• ゲート付き回帰型ユニット
• 微分可能ニューラルコンピュータ（英語版）
• 長期増強
• 前頭前皮質基底核作業記憶（英語版）
• 時系列

• Recurrent Neural Networks with over 30 LSTM papers by Jürgen Schmidhuber's group at IDSIA
• Gers, Felix (2001年). “Long Short-Term Memory in Recurrent Neural Networks”. PhD thesis. 2019年4月3日閲覧。
• Gers, Felix A.; Schraudolph, Nicol N.; Schmidhuber, Jürgen (Aug 2002). “Learning precise timing with LSTM recurrent networks”. Journal of Machine Learning Research 3: 115–143. http://www.jmlr.org/papers/volume3/gers02a/gers02a.pdf 2019年4月3日閲覧。. 
• Abidogun, Olusola Adeniyi (2005年). “Data Mining, Fraud Detection and Mobile Telecommunications: Call Pattern Analysis with Unsupervised Neural Networks”. Master's Thesis. hdl:11394/249. May 22, 2012時点のオリジナルよりアーカイブ。2019年4月3日閲覧。
  • original with two chapters devoted to explaining recurrent neural networks, especially LSTM.
• “A generalized LSTM-like training algorithm for second-order recurrent neural networks” (2010年). 2019年4月3日閲覧。 “High-performing extension of LSTM that has been simplified to a single node type and can train arbitrary architectures”
• Herta, Christian. “How to implement LSTM in Python with Theano”. Tutorial. 2019年4月3日閲覧。
• Chevalier, Guillaume. Tutorial: How to use LSTMs with TensorFlow in Python on cellphone sensor data - GitHub