EMNLP2019の気になった論文を紹介 - 株式会社ホクソエムのブログ

ホクソエムサポーターの白井です。

EMNLP-IJCNLP 2019 (以降 EMNLP) が先日、香港で開催されました。 EMNLPは Empirical Methods in Natural Language Processing の略称で、ACLやNAACLと並ぶ、計算機科学のTop conferenceと言われてます*1。今年採択されたEMNLPの論文は682本 (＋システム/デモ論文45本) です。 (年々増えています。)

今回は、EMNLP2019の論文から、いくつか気になったものを紹介します。前回に引き続き、検証系の論文とデータ構築についての論文をメインに扱います。

以降、記載する図表は、明記しない限り、論文から引用しています。

1. ner and pos when nothing is capitalized
2. A Little Annotation does a Lot of Good: A Study in Bootstrapping Low-resource Named Entity Recognizers
3. Are We Modeling the Task or the Annotator? An Investigation of Annotator Bias in Natural Language Understanding Datasets
4. (Male, Bachelor) and (Female, Ph.D) have different connotations: Parallelly Annotated Stylistic Language Dataset with Multiple Personas
5. Open Domain Web Keyphrase Extraction Beyond Language Modeling
おわりに
- 参考: Tutorialのリンク集

1. ner and pos when nothing is capitalized

※タイトルはtypoではないです

ACL anthology https://www.aclweb.org/anthology/D19-1650/
arXiv https://arxiv.org/abs/1903.11222
Site https://cogcomp.seas.upenn.edu/page/publication_view/881

英語において、大文字・小文字の使い分けにはルールがあります。例えば、文の最初や固有名詞の最初の文字は大文字を使います (e.g. "For these language, ..." , Hong Kong)。これらの大文字の情報は、NER (Named Entity Recognition: 固有表現抽出) やPOS (Part of Speech Tagging: 品詞タグ付け) タスクにおいて重要な情報となり得ます。

ちなみに、NERは人物、場所、組織といった固有名詞を抽出するタスクです。下の例であれば、 AllenNLP、PyTorch、Allen Institute for Artificial Intelligence が ORG (組織)、Seattle が LOC (場所) だとモデルが予測しています。

from https://demo.allennlp.org/named-entity-recognition/ のelmo-nerによる予測結果(文はサイトの例文より引用)

一方、POSは単語に対して動詞や名詞などの品詞タグを付与するタスクです。下の Stanford CoreNLPによる結果では、 Penn Tree Bankの定義にしたがって単語にタグ付けされています。例えば、 weは PRP (Personal pronoun: 人称代名詞)、perform は VBP (Verb, non-3rd person singular present: 動詞, 三単現でない) のタグが付与されています。

from http://nlp.stanford.edu:8080/corenlp/process の予測結果 (例文は本論文のアブストラクトより引用)

これらのNERやPOSは、自然言語処理において、基礎となる重要な処理です。

しかしながら、SNSの投稿のようなくだけたテキスト、音声認識の出力などでは、ルール通りに大文字が使われていないこともあります。その場合、大文字を学習に利用したモデルでは、精度が落ちることが示されています。

(Casedが大文字のテキスト、Uncasedが小文字化したテキストでのタスクの精度。Uncasedのほうが精度が低いことがわかる。)

先行研究ではTruecasing (大文字を含む文に復元する方法) が試みられていますが、特有のcasingやtruecasingの間違いによってエラーが引き起こされるため、課題があるように思えます。

本論文では、NERとPOSタスクにおいて、cased text (大文字を含むテキスト) と lower-cased/uncased text (小文字のみのテキスト) での結果を比較し、最も適切な方法について検証しています。

検証した実験設定は以下のとおりです。

Train on cased: 学習データもテストデータもそのまま
Train on uncased: 学習データもテストデータも小文字化する
Train on cased+uncased: そのままのデータと小文字化したデータどちらも学習データに利用
- Half Mixed: 学習データの50%のみ小文字化して利用
Train on cased, test on truecased: 学習データはそのまま使い、テストデータをtruecasingする
Truecase train and test: 学習データもテストデータもtruecasingする

結果としては、3. Train on cased+uncased がいずれのタスクにおいても良いパフォーマンスであることが示されています。

学習に用いるデータ量が単純に2倍になっていることが要因の一つだと考えられます。

当たり前の結果といえばそうなのですが、汎用的に利用できるモデルを考える上では、小文字化したデータも利用して学習が必要な可能性を示唆していて興味深いと思いました。

日本語には英語における大文字小文字に対応するルールはありませんが、カタカナ・ひらがな・漢字のように複数の表記方法があるので、表記方法の違いについて検証する必要があるのかもしれません。

2. A Little Annotation does a Lot of Good: A Study in Bootstrapping Low-resource Named Entity Recognizers

ACL anthology https://www.aclweb.org/anthology/D19-1520/
arXiv https://arxiv.org/abs/1908.08983
Github https://github.com/Aditi138/EntityTargetedActiveLearning

上記論文の結果からも分かるとおり、ニューラルネットワークを用いたNER (固有表現抽出) モデルにおいて、重要なのはラベル付き学習データ (教師データ) です。英語では、そのようなデータが比較的豊富に存在しますが、他の言語の場合は、十分なデータ資源がないというのが現状です。

しかし、ラベルつき (アノテーション) データを作成するのは大変で、コストもかかるため、最低限の資源で実装したいところです。

本論文では、課題が多いLow-resourceな言語でのNERに対して、有効な "recipe" を紹介しています。流れとしては大きく3つ、cross-lingual transfer learning (言語を横断する転移学習)、active learning、fine-tunningです。

Cross-Lingual Transfer Learning
- 2つの単語分散表現を用意し、bilingual word embeddings (BWE)を学習する
- BWEを利用して、the cross-domain similarity local scaling (CSLS) metric (Github)によって単語間の辞書を作る
Entity-Targeted Active Learning
- ラベルの付いていないsequenceから、最も有益なスパン (テキストの範囲) を選択する
- アノテーターの作業は、entity typeを選ぶか、スパンの修正だけですむ
- 図のETALが提案方法、SALが全てのシークエンスにアノテーションする方法
Fine-tunning
- a BiLSTM-CNN-CRF model (Ma and Hovy (2016))を用いる
- Active Learningではアノテーションが一部しかついていないため、Partical-CRFを利用

実験では、ドイツ語・スペイン語・オランダ語・ヒンディー語・インドネシア語について検証しています。

データ資源が少ないと、データを増やす方法を考えがちですが、必要最小限のリソースでタスクを解く工夫を提案している点が面白いと感じました。

3. Are We Modeling the Task or the Annotator? An Investigation of Annotator Bias in Natural Language Understanding Datasets

ACL anthology https://www.aclweb.org/anthology/D19-1107/
arXiv https://arxiv.org/abs/1908.07898
Github https://github.com/mega002/annotator_bias

上記論文でも言及したように、人手によるアノテーションつきデータは自然言語処理の研究において重要であるものの、作業コストなどの課題が多く存在します。

膨大なテキストに対してアノテーションする場合、多くはAmazon Mechanical Turk (AMT) などのクラウドソーシングサービスを利用し、クラウドワーカー(アノテーター)に作成を依頼しています。近年の研究では、高い質のデータを作成できる少人数が膨大なデータを生成する方法を選んでいるようです。

しかしながら、Natural Language Understanding (NLU) タスクなどで利用されるフリー記述の場合、少人数が作成したデータは、データの多様性やモデルの生成能力に影響する可能性があります。

本論文では、NLUタスクにおける、アノテーターによる影響 annotator bias を調査しています。

以下の、アノテーター情報が含まれるNLUデータセットについて調査
- MNLI: テキストの含意を推論するデータセット
- OpenBookQA: multi-hop (多段階で推論が必要) に着目した多項式のQAデータセット
- CommonsenseQA: 常識に着目した多項式のQAデータセット
BERTモデルに、入力文 x 正解ラベル y に加えてアノテーター情報 z を含む、 ((z, x),y) を与えて学習を行う
- 結果、アノテーター情報を含むとモデルの精度が向上した
- With ID がアノテーター情報を含むモデル
同様に、BERTをfine-tuningしてアノテーターの識別をしたところ、データを作成した割合が高いアノテーターほど、識別が容易であることがわかった

これらの結果から、アノテーターによって学習データとテストデータのアノテーターは分離させるべきであることが論文中で提案されています。

データを扱う側としても、アノテーションに何人関わっているのか、アノテーターによって偏りがないかどうか、確認する必要があると考えさせられました。

参考
Are We Modeling the Task or the Annotator? (Tel Aviv U, AI2) https://t.co/8lV1tggMom MNLI等のデータセットのアノテータの偏りに関する調査．(1) アノテータIDありで学習すると性能up，(2) データからアノテータが分かる (3) 訓練データを作ってないアノテータに対しての汎化性能低い EMNLP19 pic.twitter.com/yDpPz3dNzj
— Kyosuke Nishida (@kyoun) 2019年11月5日

4. (Male, Bachelor) and (Female, Ph.D) have different connotations: Parallelly Annotated Stylistic Language Dataset with Multiple Personas

ACL anthology https://www.aclweb.org/anthology/D19-1179/
Github https://github.com/dykang/PASTEL

残りの2つはデータがメインの論文を紹介します。

先ほどの annotation bias のように、実際の人間の扱う言葉には、スタイル (≒文体) の違いがつきものです。性別・年齢による違いはもちろん、同じ人物でも状況に合わせて、言葉遣いが変化します。

このような、文章のスタイルの違いに着目し、文章を目的のスタイルに変換する研究は Style transfer と言います。Computer Visionでは、○○っぽい画風に変換する研究で有名かと思います。

f:id:sh111h:20191203222634p:plain from https://research.preferred.jp/2015/09/chainer-gogh/

NLPにおけるStyle transferも、文のスタイル変換や、著者のプロファイルなどに応用されています。しかしながら、これらの研究ではパラレルコーパス (翻訳における複数の言語で文同士の対応が付いたコーパス *2 。Style transferにおいては複数のスタイルで 同じ意味 のコーパス) を利用していないものが多いです。それにより、複数のスタイルのバリエーションを学習したり、評価することは困難です。

そこで、本論文は、スタイル、特にペルソナ情報についてのパラレルコーパス、PASTEL (the parallel and annotated stylistic language dataset) について紹介しています。

データ構築には Visual Story Tellingを利用
- 元々の意味を保持しつつ、自身のスタイルで文書を作成してもらう
- どの情報を与えればスタイルが多様になるか予備実験
- 最も良かった Story (images + local keywords) (画像とキーワードを与える) 方法でアノテーションを行う

アノテーターにはペルソナ情報を入力してもらう
- 性別・年齢・民族・出身・学歴・政治的立場

このパラレルコーパスによって、教師ありのスタイル変換が可能になります。

from Github

また、このパラレルコーパスを用いた応用方法として、controlled style classification を提案しています。これは、他のスタイル情報を固定した上で、一つのスタイルについて分類するタスクです。例えば、与えられた文章の年齢や性別を当てることで、テキストにおける年齢・性別の違いを表現する特徴量がわかります。

画像とは異なり、言語には様々なスタイルが絡んでくるため、明示的にスタイル情報が示されているパラレルコーパスが提案されるのは画期的だと思いました。

5. Open Domain Web Keyphrase Extraction Beyond Language Modeling

ACL anthology https://www.aclweb.org/anthology/D19-1521/
Github https://github.com/microsoft/OpenKP

Keyphrase Extraction (KPE: キーフレーズ抽出) は文書から特徴的なフレーズを抽出するタスクです。先行研究では、学術論文のドメインにおいて、効果的なモデルが提案されていますが、これは、論文中に論文の著者が作成したキーワードが含まれていることがあり、ドメインの学習データが比較的豊富なことが要因です。

しかし、実応用においては、学術ドメインに限らず、スパースなデータ量の、様々なドメインにおいてキーフレーズ抽出ができることが求められます。

本論文では、オープンドメインのキーフレーズ抽出タスクに着目したデータセット OpenKP について紹介しています。

文書はBing Search Engineからサンプリングされたウェブページ (詳細は http://www.msmarco.org)
- ドメインや文書の種類で制限はしていないため、ニュース記事・動画ページ・リンクまとめページも含んでいる
- トピックもばらついており、最も多いトピック healthcare でも全体の3.7%程度
1つの文書につき1~3のキーフレーズを人手でアノテーション
- 複数人の一致率は高くない
- ランダムに選択した50文書において、5人の上位3つのキーフレーズで、完全一致したのは43%

また、このデータセットのタスクを解くためのモデル BLING-KPE (Beyond Language UnderstandING KeyPhrase Extraction) を提案しています。アーキテクチャの大きな枠組みはCNNとTransformerですが、タイトルの Beyond Language Understanding を目的とした2つの特徴があります。

visual feature (画像の特徴量)
- データがウェブページであるため、画面の表示情報を特徴量として入力する
- 具体的には、フォント、テキストサイズ、表示位置、DOM
weak supervision (弱い教師)
- 検索クエリからそのドキュメントのページがクリックされたかどうかを識別する Query Prediction タスクを、モデルの事前学習に利用
- クエリはBing search logから取得

OpenKPでの実験の結果、上記２つの特徴量は有意な特徴量であることが示されています。

赤枠がvisual featureなし、緑枠がvisual featureありの予測結果。この結果から、フォントサイズやテキストサイズなどの visual feature が有効であることがわかる。

参考: Benchmark datasets for keyphrase extraction (https://github.com/boudinfl/ake-datasets)

おわりに

EMNLP2019の論文を5つ紹介しました。

その他、本会議中開催されたTutorialの資料は多くの場合公開されています。そのトピックについて包括的に知るのには良い資料だと思うので、気になるトピックがあれば読んでみるのもいいかもしれません。

参考: Tutorialのリンク集

[T1] Dive into Deep Learning for Natural Language Processing
- http://d2l.ai/
- https://github.com/dmlc/gluon-nlp
[T3] Data Collection and End-to-End Learning for Conversational AI: https://www.polyai.com/emnlp19/
[T4] Bias and Fairness in Natural Language Processing: https://twitter.com/kaiwei_chang/status/1190838941206761472
[T5] Discreteness in Neural Natural Language Processing: https://lili-mou.github.io
[T6] Graph Neural Networks for Natural Language Processing: https://github.com/svjan5/GNNs-for-NLP
[T7] Semantic Specialization of Distributional Representations Models: https://twitter.com/gg42554/status/1192124655533867009