TensorFlowの日本語まとめ

TensorFlowの公式サイトに書かれている英文を英語ど素人が翻訳(日本語訳/和訳)します。 間違いがありましたら、優しく教えていただけますと幸いです。 内容を理解したら、使ってみたい。

2.Sequence-to-Sequenceの基本

Cho et al., 2014で導入され、基本的なSequence-to-Sequenceモデルは2リカレントニューラルネットワーク(RNNsで構成されています。:入力と出力を生成するデコーダを処理するエンコーダ。この基本的なアーキテクチャは、以下に示されています。

f:id:TensorFlow:20160130040308p:plain

スポンサーリンク

 

 

上の写真の中の各ボックスには、RNN細胞最も一般的にGRU細胞またはLSTM細胞を表します。(それらの説明については、RNN Tutorial を参照してください)。エンコーダとデコーダは、重みを共有したり、より一般的であるように、パラメータの異なるセットを使用することができます。多層細胞は正常にも配列のシーケンスのモデルで使用されています。例えば、 Sutskever et al., 2014を翻訳のため。

 

上に示した基本的なモデルではすべての入力は、デコーダに渡される唯一のものであるように、固定サイズの状態ベクトルに符号化されなければなりません入力にデコーダより直接的なアクセスを許可するには、注意機構は Bahdanu et al., 2014で導入されました。私たち注目機構の詳細には触れません。ペーパーを参照)それは、デコーダがすべての復号ステップでの入力覗き見することを可能にすると言えば十分だろうデコーダにおける幹細胞と注意機構を備えた多層sequence-to-sequenceネットワークは、次のようになります

f:id:TensorFlow:20160130040856p:plain

 

(原文サイト)

Sequence-to-Sequence Models