Tag: NLP

Tag: NLP

💾
References: AI

📄
MusicLM: テキストから音楽を生成するモデル

2023

“a calming violin melody backed by a distorted guitar riff” といったテキストから音楽がサウンドファイルとして生成される. Stable Diffusionの音楽版

Agostinelli, Andrea, Timo I. Denk, Zalán Borsos, Jesse Engel, Mauro Verzetti, Antoine Caillon, Qingqing Huang, et al. 2023. “MusicLM: Generating Music From Text.” arXiv [cs.SD] . arXiv. http://arxiv.org/abs/2301.11325.

Paper
musicsoundNLP
January 27, 2023
👨‍👩‍👦
"AI" - GPT3を用いた実験的な演劇

2021

OpenAIの言語モデルGPT3を用いた即興劇。ロンドンの劇場での公演。 

AI by Jennifer Tang

Project
performanceNLP
September 3, 2021
📄
Energy and Policy Considerations for Deep Learning in NLP

2019

GPT-2などの言語モデルについて、その精度ではなく、学習時に消費している電力及び、二酸化炭素の放出量についてまとめた。この研究の試算では、例えばTransformer の学習に、一般的な自動車のライフサイクルの約5台分、アメリカ人約17人の一年分に相当するカーボンフットプリントがあることがわかった。

Emma Strubell, Ananya Ganesh, Andrew McCallum (2019)

Paper
ethicsNLP
June 10, 2021
📄
Neural Text Generation with Unlikelihood Training

2019

Likelihoodを最適化しようとすると頻出する単語が必要以上に頻出する結果に

Welleck, S., Kulikov, I., Roller, S., Dinan, E., Cho, K., & Weston, J. (2019). Neural Text Generation with Unlikelihood Training.

Paper
NLP
May 14, 2021
📄
Attention is All You Need

2017

現在、GPT-3から音楽生成、画像の生成まで、多様な領域で中心的な仕組みとなっているTransformerを導入した論文。時系列データの学習に一般的に用いられてきたRNNなどの複雑なネットワークを排して、比較的シンプルなAttentionだけで学習できることを示した。

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is all you need. Advances in Neural Information Processing Systems, 2017-Decem, 5999–6009.

Paper
NLPessential
April 1, 2021
歌詞からメロディを生成 – Conditional LSTM-GAN for Melody Generation from Lyrics

Yu, Yi, Abhishek Srivastava, and Simon Canales. "Conditional lstm-gan for melody generation from lyrics." ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM) 17.1 (2021): 1-20.

Paper
musicGANNLP
February 12, 2020
👨‍👩‍👦
料理の写真 ↔︎ 材料とレシピ – Learning Cross-modal Embeddings for Cooking Recipes and Food Images

2017

料理の写真 ↔︎ 材料とレシピ

Learning Cross-modal Embeddings for Cooking Recipes and Food Images

Project
imageNLPcross-modal
July 25, 2017
👨‍👩‍👦
AIを言葉でナビして学習 – Beating Atari with Natural Language Guided Reinforcement Learning

2017

AIを言葉でナビして学習 – Beating Atari with Natural Language Guided Reinforcement Learning

AIを言葉でナビして学習 – Beating Atari with Natural Language Guided Reinforcement Learning

Paper
NLP
April 23, 2017
👨‍👩‍👦
food2vec – Augmented cooking with machine intelligence

2016

food2vec – Augmented cooking with machine intelligence

demo
NLP
January 27, 2017