Collection of Meta Information with User-Generated Question Answer Pairs and its Reflection for Improving Expressibility in Response Generation

Abstract

This paper concerns the problem of realizing consistent personalities in neural conversational modeling by using user generated question-answer pairs as training data. Using the framework of role play-based question-answering, we collected single-turn question-answer pairs for particular characters from online users. Meta information was also collected such as emotion and intimacy related to question-answer pairs. We verified the quality of the collected data and, by subjective evaluation, we also verified their usefulness in training neural conversational models for generating responses reflecting the meta information, especially emotion.

Development of Character-like Chatbot with Role Play-Based Question Answering and a Large Language Model

“…一貫した個性を持つチャットボットの研究が注目されている (Li et al 2016b;Zhang et al 2018;Qian et al 2018;Zhou et al 2020). このようなチャットボットを構築するためは，特定の 個性を持った人物の対話データを多量に用意し，生成ベースのモデルを学習する手法が一般的に 考えられる．しかしながら，対象人物の対話データを多量に集めることは容易ではない．この問 題に対して，我々は先行研究において，多くの作業者が対象人物(データ収集の対象とする特定 の人物)になりきって質問に回答する枠組み(なりきり質問応答)を提案している (Higashinaka et al 2013)．さらに，提案手法を用いて，有名な人物(例えば，YouTuber やアニメの登場人物) への質問，および，その回答のペア(QA ペア)をファンから大規模に収集し，対象人物のよ うに振る舞うチャットボットであるなりきり AI を構築する手法を提案してきた (Higashinaka et al 2018;Kodama et al 2020; 水上 他 2023)． 一方で，近年，自然言語処理において言語モデルが高度化している (Vaswani et al 2017;Devlin et al 2019;Raffel et al 2019;Brown et al 2020). 特に Transformer (Vaswani et al 2017) に基 づく大規模言語モデルである Meena (Adiwardana et al 2020)，BlenderBot (Roller et…”