Child, R. et al. (2019) ‘Generating Long Sequences with Sparse Transformers’, arXiv. arXiv. Available at: http://arxiv.org/abs/1904.10509 (Accessed: 29 January 2021).

Transformerがシーケンスの学習に有効なことは判明しているが、長いシーケンスを学習しようとするほど、必要になるメモリが二乗で増える( $O(n^2)$: $n$はシーケンスの長さ)。そこでこの研究では、スパースなAttentionの仕組みを提案し計算量を $O(n \sqrt{n})$に抑える!

仕組みに関してはこの図がわかりやすい。普通のTransformerは あるシーケンスのステップ i に対して$j < i$ 、前のステップ全てに対してAttendする (上の図の一番左。濃い青の■に対してその前の水色の■を参照している。）

Sparse Transformer (strided)

それに対して、Sparse Transformerの(b)では直前のシーケンスはそのままAttendするが、それ以前に関しては間隔をあけて($l$でわったあまりが0) Attendする。

$A_{i}^{(1)}=\{t, t+1, \ldots, i\} \text { for } t=\max (0, i-l)$ 上の図では $l = 3$

$A_{i}^{(2)}=\{j:(i-j) \bmod l=0\}$ 上の図は　$l = 4$

周期的なパターンをもつ音などの場合にはこの方法はうまくいくが、テキストなどではこのstrided方式はあまりうまくいかないことがわかっている。

Sparse Transformer (fixed)

上の図 右(c)

$A_{i}^{(1)}=\{j:(\lfloor j / l\rfloor=\lfloor i / l\rfloor)\}$ $\lfloor \rfloor$は floor() 関数 (切り捨て)　　上の図では 4　

$A_{i}^{(2)}=\{j: j \bmod l \in \{t, t+1, \ldots, l\}$ ただし $t = l - c$ で $c$ はハイパーパラメター

そのほかLayerのnormalization、dropout、residual blockなどなどいろいろテクニックを組み合わせている... (が詳細を細かく追えてない)

画像、テキスト、音声信号で学習の実験。

長期にわたる依存関係を小さいパラメータ数で学習できていることが定量的にも証明された。

部分的な画像から全体を生成するタスクの結果

生成されたサウンドの例 -　音質は12kHzのサンプリングレートということもあっていまいちだが、音楽的な構造が比較的保たれているのがわかる。

オリジナルのTransformer論文

TransformerをMIDIの生成に応用した例 / 必要なメモリサイズを減らす工夫はここでもなされている