• facebook
  • ENGLISH
  • ニュース?イベント

    プレスリリース

    「空気を読んで話す」対話システム研究用データセットHazumiを公開

     大阪大學産業科學研究所 駒谷和範教授、北陸先端科學技術大學院大學先端科學技術研究科知能ロボティクス領域 岡田將吾準教授らの研究グループは、マルチモーダル対話システムの研究開発に利用可能なデータセットHazumiを公開し、10月20日に、大阪大學においてオンラインにて記者會見を行いました。

    <ポイント>

    • ことばの內容だけでなく、聲色や表情、姿勢なども使って相手の様子を読み取る音聲対話システム(音聲を使って話をする人工知能)の研究開発に使えるデータセットを公開。
    • 人工知能の研究開発を進めるには、人とシステムが話すデータやそれに対して人間が付與した正解ラベルが必要であるが、個人情報保護などから公開されたものは少ない。
    • ことばの內容だけではなく、ニュアンスや雰囲気も扱えるマルチモーダル対話システムの研究開発に向けた共通基盤データとして利用可能。

    <研究の概要>
     大阪大學産業科學研究所の駒谷和範教授らの研究グループは、マルチモーダル※1 対話システム※2の研究開発に利用可能なデータセット Hazumiを公開しました。
     近年、音聲応答を行うロボットやアプリが數多く公開されていますが、その多くは音聲認識によって得られるテキストのみに基づいて応答します。これに対して人間は、ことばの內容だけではなく、聲色や表情、姿勢などから相手の様子を読み取って話しています。このような機能を持った対話システムをマルチモーダル対話システムと呼びます。この研究にはデータが必要ですが、顔の映像は個人情報であり、この點へ配慮が必要であることなどから、人とシステムとの間でのマルチモーダル対話データで公開されたものはほぼありませんでした。
     今回、人とシステムとの15分程度のマルチモーダル対話データ59名分を公開しました。システムはWizard-of-Oz方式と呼ばれる、人間が別室でシステムを操作する方式を用いました。公開されたデータには、収録した動畫だけではなく、様々なアノテーション※3が付與されています。例えば、心象(どの程度実験參加者が対話を楽しんでいるか)7段階や、話題継続(システム役が話題を続けるべきかどうか)7段階、話題への興味度3段階などです。これらが、システム発話とユーザ発話の対(交換)を単位として、第三者である5名により対話中の全交換に対して付與されています。また心象は、実験參加者本人が事後に付與したものも含まれます。また実験參加者全員から同意書を得ており、その手続きは研究倫理委員會により承認されたものです。
     これにより、ことばの內容のやりとりだけではなく、ニュアンスや雰囲気も扱えるマルチモーダル対話システムの研究開発に向けて、共通基盤データとして広く利用されることが期待できます。
     本データは、2020年8月18日から、國立情報學研究所情報學研究データリポジトリにて公開されています。なおHazumiとは、話を弾ませることができるような対話システムを作りたいという願いから名付けたものです。

    <研究の背景>
     ユーザの心的狀態をセンシングし有効な情報を取得する研究は、社會的信號処理 (Social Signal Processing, SSP) という名前で近年注目を集めています。社會的信號処理では、ユーザの內面の発露として現れる情報をコンピュータがセンシングする技術です。様々なセンサ情報を入力特徴量とした機械學習により、例えば「ユーザが現在の話題に興味を示している」のような情報を予測します。本データセットは、対話システム研究と社會的信號処理研究を融合させるという位置づけもあります。

    <研究成果が社會に與える影響>
     本データセットの公開により、ことばの內容のやりとりだけではなく、ニュアンスや雰囲気も扱えるマルチモーダル対話システムの研究開発がさらに進展することが期待されます。また、共通基盤データとして広く利用されることも期待できます。
     本研究グループも、本データセットを使って、付與されたアノテーション內容の機械學習※4による予測をより高精度にする研究や、さらに生體信號を併用して実験參加者の心象を得る研究などに活用しています。

    <特記事項>
     本データセットは、2020年8月18日から、國立情報學研究所情報學研究データリポジトリにて公開されています。
     タイトル:大阪大學 マルチモーダル対話コーパス (Hazumi)
     著者名:駒谷和範、岡田將吾
     https://www.nii.ac.jp/dsc/idr/rdata/Hazumi/
     http://doi.org/10.32130/rdata.4.1

     本データセットを利用した研究は、2019年10月15日に、マルチモーダルインタラクションに関する國際會議ICMI(The 21st ACM International Conference on Multimodal Interaction)にて講演発表し、優秀論文賞(Best Paper Runner-up Award)を受賞しました。
     Yuki Hirano, Shogo Okada, Haruto Nishimoto, Kazunori Komatani:
     Multitask Prediction of Exchange-level Annotations for Multimodal Dialogue Systems.
     International Conference on Multimodal Interaction (ICMI), pp.85-94, Oct., 2019.
     (Best Paper Runner-ups Award)

     また本データセットの次期バージョンを利用した研究成果は、2020年10月25日から29日に開催される國際會議ICMI(The 22nd ACM International Conference on Multimodal Interaction)にて発表予定です。
     Shun Katada, Shogo Okada, Yuki Hirano, Kazunori Komatani:
     Is She Truly Enjoying the Conversation?: Analysis of Physiological Signals toward Adaptive Dialogue Systems.
     International Conference on Multimodal Interaction (ICMI), (accepted), 2020.

     本研究は、北陸先端科學技術大學院大學先端科學技術研究科 岡田將吾準教授との協力の下で行われました。本研究の一部は、大阪大學産業科學研究所が參畫する物質?デバイス領域共同研究拠點における「人?環境と物質をつなぐイノベーション創出ダイナミック?アライアンス」共同研究プログラムの支援を受けました。

    <用語解説>
    ※1 マルチモーダル
     テキストだけでなく、聴覚から得られる聲色や、視覚から得られる表情など、複數の情報を利用することです。
    ※2 対話システム
     人とことばを用いて話をするシステムで、人工知能のひとつです。音聲を入力とした音聲応答アプリや対話をするロボット、テキストを入力として雑談をするチャットボットが最近多く開発されています。會話システムとも呼ばれます。
    ※3 アノテーション
     データに対して人間が注釈をつけたものです。昨今広く使われている機械學習では、人間が與えた情報を正解データとして學習を行うものが多いです。このため、データだけではなく、それに対して人手で注釈をつけたものが研究開発において有用です。
    ※4 機械學習
     データに基づいて推論や判斷を自動で行えるようにするための技術で、人工知能の技術のひとつです。機械學習には、教師あり學習、教師なし學習、強化學習があります。教師あり學習は、狀況と正解を與えることでそれらを繋ぐように學習が行われ、別の狀況に対する判斷をできるようにする學習方法です。

    pr20201021-1.png図1 公開したデータの一部
    (ここでは顔畫像を一部加工。公開データは論文や學會発表にはそのまま利用可能。)

    令和2年10月21日

    PAGETOP
    国产在热线精品视频99