Summarize-then-Answer: Generating Concise Explanations for Multi-hop Reading Comprehension

Abstract

How can we generate concise explanations for multi-hop Reading Comprehension (RC)? The current strategies of identifying supporting sentences can be seen as an extractive questionfocused summarization of the input text. However, these extractive explanations are not necessarily concise i.e. not minimally sufficient for answering a question. Instead, we advocate for an abstractive approach, where we propose to generate a question-focused, abstractive summary of input paragraphs and then feed it to an RC system. Given a limited amount of human-annotated abstractive explanations, we train the abstractive explainer in a semi-supervised manner, where we start from the supervised model and then train it further through trial and error maximizing a conciseness-promoted reward function. Our experiments demonstrate that the proposed abstractive explainer can generate more compact explanations than an extractive explainer with limited supervision (only 2k instances) while maintaining sufficiency.

Frontiers in Explainable Automated Writing Evaluation

“…16 No. 4 近年では，グラフなどの構造化情報 (4) ，自然言語文 (5) など の，より抽象的な説明も検討されている．更に，予測に強い 影響を与えた訓練事例による説明 (6) ，二つの予測を対比させ た対比的説明 (7) ，予測を覆すための入力の編集の提示による 反実仮想的な説明 (8) など，説明の形態そのものに切り込む検 討もなされている． 第 2 の軸は「説明生成の方法」である．まず，NLP シス テムは所与のものとして，そのシステムが出力する予測を事 後的に説明しようとする post-hoc 法がある．入力を微小に 変化させることによって出力ラベルに対する個々の入力単語 の重要度を推定する方法 (3) ，予測関数を入力について微分す ることによって入力単語の重要度を見積もる方法 (9) など， 様々な手法が提案されている．二つめの方向性は，初めから 解釈可能なシステムを設計する self-explain 法である．入力 の重要箇所を同定するモジュールを明示的に組み込み，そこ からパイプライン的に予測を行う方式 (10), (11) ，予測モデルの 隠れ層から言語生成器を用いて説明を生成する方式 (5) (13), (14) やこれまでの研究結果を統合的に分析したメタ分析 などが存在する (15) ． ライティングにおける訂正的フィードバック(written corrective feedback)は，直接訂正，間接訂正，メタ言語的 説明，フィードバックの焦点化，電子フィードバック，再構 成など，様々な種類が存在する (16) (17) ，フィー ドバックにどのように関わっているか (18) ，また学習者に自 分が教師から受け取りたいフィードバックを選択させるよう なアプローチ (19) 精度が飛躍的に向上し (22), (23) ，人間の採点者に匹敵するよう な精度を示すモデルも登場している (24) ．昨今では，ほかの NLP 分野と同様に，SAS においても Transformer を用いた モデルの開発が盛んに行われている (25), (26) ．このように，長 らくこの分野における研究の中心的な課題は専らモデルの予 測精度の改善であり (27) (32) や反実仮想的な正答の生成 (33) ，予測の信頼性を表 す確信度の活用 (34)…”

Modeling Multi-hop Question Answering as Single Sequence Prediction

“…Most of the reading comprehension (RC) models in existing work (Xiong et al, 2019;Nishida et al, 2019;Qi et al, 2021; follow an extractive architecture for selection of the answer spans and their corresponding supporting evidence with minor modifications such as initializing the backbone model from a stronger or larger pre-trained models (Clark et al, 2020). On the other hand, some recent works (Inoue et al, 2021) take a more abstractive approach and generate question-focused summaries of input paragraphs as concise explanations to be fed to the RC module. Generative question answering.…”

BART-IT: An Efficient Sequence-to-Sequence Model for Italian Text Summarization

“…In recent years, ATS has received a lot of attention as it can be applied to a wide range of applications such as the extraction of highlights from scientific papers [2], the generation of summaries of news articles [3], and the creation of multimodal summaries of audio podcasts [4]. The summarization task can be also instrumental for other NLP tasks, e.g., by reducing the size of large documents to make them more suitable for downstream tasks [5].…”