【論文メモ】AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS

読んだ論文

論文を読んだのでメモしておきます。

https://arxiv.org/pdf/1803.02893.pdf

• タイトル

AN EFFICIENT FRAMEWORK FOR LEARNING SENTENCE REPRESENTATIONS

• 著者

Lajanugen Logeswaran, Honglak Lee

メモ

やってること

• 文章の分散表現を得るためのシンプルで効率的なフレームワークの提案

  • quick thought(QT)と名付ける

アプローチ

• 論文で提案されているのは以下の図の(b)の方法

  • (a)はskip-thoughのような先行研究で用いられている方法

• 入力の文章が与えられたときに、ベクトルへエンコードしそれを使って、候補の文章の中からターゲットの文章を選択するということを行う

  • Skip-gramの単語を文章に置き換えたもののようだということ

• fとgにはRNNを利用し、fとgのアウトプットをコンキャットしたものを分散表現として利用

感想

先行研究のskip-thoughtに比べて学習時間が早いとのことで（2 weeks → 9 days）、自分でも実装して実験してみたいなと思います。