研究キーワード:マルチモーダルAI、マルチメディアデータ工学、パターン認識、情報検索、自然言語処理、画像・映像処理、Web情報処理、知識発見、機械学習、人工知能
photo
    (最終更新日:1000-01-01 00:00:00)
  ミヤモリ ヒサシ   MIYAMORI HISASHI
  宮森 恒
   所属   京都産業大学  情報理工学部 情報理工学科
   職種   教授
研究概要
■ 研究概要
◆研究課題
人に寄り添うAI応用のためのマルチメディアデータ理解と生成に関する研究

◆研究概要
本研究の目的は、テキストだけでなく、画像や図表等の異種データを活用したモデルを構築することにより、従来の自然言語処理だけでは得られない、より人間に近い的確な理解や生成を可能とする基盤技術を確立することである。
これにより、AIが出力した回答結果の判断根拠を、マルチメディアデータとして、より人間に近い納得しやすい形で提示することにつながると期待される。
本研究では、異種データを関連付ける技術、異種データを読み解く技術、異種データで説明する技術の3つの技術に着目して研究を進める。例えば、ファクトチェック支援の応用例で考える場合、異種データを関連づける技術により、入力された内容の真偽が不明のテキストと、政府統計や業界団体等が公開している統計表やその関連箇所とを関連づけることができる。異種データを読み解く技術により、関連づけられたそれぞれのデータの意味内容を文脈を踏まえた上で的確に理解し、両者を比較すべきかの判断や両者の整合性を検証することができる。さらに、異種データで説明する技術により、検証結果の判断根拠を、テキストだけでなく、画像やビデオを含めたマルチメディアデータとして構成し、人間に理解しやすい形で説明することができる。
本研究により、AIが異種データを的確に連携し、ユーザの状況や文脈を踏まえた上で人に寄り添うための基礎が確立すると期待される。AIの異種データ運用能力の向上は、あらゆる場面で快適で豊かな生活を実現する超スマート社会の根幹を担う技術の一つであり、その意義は大きい。
業績
■ 学会発表
1. 2023/10/29 AI's reading comprehension of multimedia data for improving language proficiency(Korea-Japan Database Workshop (KJDB) 2023)Link
2. 2023/10/28 How will generative AI change data mining and database research?(Korea-Japan Database Workshop (KJDB) 2023)Link
3. 2023/10/28 Unrolling the Potential: Roles of Generative AI in Data Mining and Database Research(Korea-Japan Database Workshop (KJDB) 2023)Link
4. 2006/03 Integrated Search and Zooming of Web and TV Contents(Proceedings of The 2nd NICT China-Japan Forum on Digital Content and Web Computing (DCWC2006))
5. 2005/12 インターネットと放送のコンテンツ融合(NICTヒューマンコミュニケーションシンポジウム)
全件表示(8件)
■ 著書・論文歴
1. 2024/09 論文  マルチタスク学習とタスク特化型大規模言語モデルを併用した関係抽出 WebDB夏のワークショップ2024 2024-DBS-179(23),1-6頁 (共著) Link
2. 2024/09 論文  体系的推論における言語モデルの内部挙動の分析 WebDB夏のワークショップ2024 2024-DBS-179(24),1-6頁 (共著) Link
3. 2024/09 論文  大規模言語モデルを用いた文書補強とリランキングによる統計データ検索 WebDB夏のワークショップ2024 2024-DBS-179(13),1-6頁 (共著) Link
4. 2024/03 論文  ExhaustiveTree: 網羅的な二次元座標木を用いた表の表現 第16回データ工学と情報マネジメントに関するフォーラム DEIM2024 (T1-A-6-05) (共著) Link
5. 2024/03 論文  HeavyOrdiNum-L: 順序数を的確に把握し活用する言語モデルの能力を探る 第16回データ工学と情報マネジメントに関するフォーラム DEIM2024 (T1-A-7-02) (共著) Link
全件表示(214件)
経歴
■ 学歴
1. 1994/04~1997/03 早稲田大学 理工学研究科 電気工学 博士課程修了 博士(工学)
2. 1992/04~1994/03 早稲田大学 理工学研究科 電気工学専攻電子通信学専門分野 修士課程修了 工学修士
3. 1988/04~1992/03 早稲田大学 理工学部 電子通信学科 卒業 工学学士
■ 職歴
1. 2018/04~ 京都産業大学 情報理工学部 情報理工学科 教授
2. 2013/04~2018/03 京都産業大学 コンピュータ理工学部 ネットワークメディア学科 教授
3. 2013/04~ 京都産業大学大学院 先端情報学研究科 教授
4. 2011/04~2013/03 京都産業大学大学院 先端情報学研究科 准教授
5. 2008/04~2013/03 京都産業大学 コンピュータ理工学部 ネットワークメディア学科 准教授
全件表示(12件)
■ 主要学科目
情報理工学科Link
■ 所属学会
1. 2008/04~ 人工知能学会Link
2. 2008/01 言語処理学会Link
3. 2005/09~ Association for Computing Machinery; ACMLink
4. 2005/05~ 日本データベース学会Link
5. 2013/05~ ∟ 電子広報編集委員会幹事会幹事
全件表示(21件)
■ 資格・免許
1. 1991/04 第一種情報処理技術者試験
その他
■ 社会における活動
1. 2021/06 知って得するAI講座〜身近になったAIの舞台裏!〜
2. 2018/11 知って得するAI講座~もっと身近に、あなたの暮らしにAIを!
3. 2017/11 ロボットの頭の中はどうなっている? ~言葉と画像の理解~
4. 2017/11 人工知能技術についてのインタビュー
5. 2017/10 ロボットの頭の中はどうなっている? ~言葉と画像の理解~
全件表示(6件)
■ 研究課題・受託研究・科研費
1. 2023/04~  事実確認支援のための言説と統計データとの整合性検証による根拠提供 基盤研究(C) (キーワード:事実確認、整合性検証、根拠、統計データ、自然言語)Link
2. 2018/10~2019/10  一般料理レシピから特定調理家電を用いたレシピへの自動変換手法 国内共同研究 
3. 2018/04~2023/03  言語運用能力向上のためのAIのマルチメディアデータ読解力に関する研究 基盤研究(C) (キーワード:マルチモーダル、読解力、統計データ検索、リランキング、表理解、ファクトチェック支援)Link
4. 2016/04~2017/03  マルチメディアデータ理解に基づく質問応答システムの高度化 その他の補助金・助成金 
5. 2009/04~2010/03  偏在性に着目したユビキタスコンテンツ利活用技術の研究開発 特定領域研究 (キーワード:ユビキタス、情報検索、時空間情報管理、可視化、情報統合)Link
全件表示(11件)
■ 講師・講演
1. 2024/07/13 働く人のためのデータサイエンス講座-現場で使える機械学習-7コマ目 ニューラルネット(キャンパスプラザ京都)Link
2. 2024/07/13 働く人のためのデータサイエンス講座-現場で使える機械学習-8コマ目 深層学習(キャンパスプラザ京都)Link
3. 2024/07/13 働く人のためのデータサイエンス講座-現場で使える機械学習-9コマ目 生成系AI(キャンパスプラザ京都)Link
4. 2018/11/11 知って得するAI講座 〜もっと身近に、あなたの暮らしにAIを!(京丹後市総合福祉センター  コミュニティホール)Link
■ 展覧会・演奏会・競技会等
1. 2002/09/15~2002/09/17 全国マルチメディア祭2002 in 岡山(コンベックス岡山)
2. 2004/06 情報通信研究機構アジア研究連携センター1周年記念式典(Bangkok, Thailand)
3. 2004/09 FIT 2004けいはんな学研セッション(京都)
4. 2004/09 産学官技術交流フェア(東京ビッグサイト)
5. 2004/11 ITシンポジウムInfo-Tech2004(神戸)
全件表示(14件)
■ ホームページ
   宮森研究室
■ 受賞学術賞
1. 2006/07 平成17年度日本データベース学会論文賞
2. 2005/03 電子情報通信学会 データ工学ワークショップ(DEWS2005) 最優秀プレゼンテーション賞
3. 2001/09 通信ソサイエティ活動功労感謝状
■ 現在の専門分野
知能情報学, 知覚情報処理, ウェブ情報学、サービス情報学, データベース (キーワード:マルチモーダルAI、マルチメディアデータ工学、パターン認識、情報検索、自然言語処理、画像・映像処理、Web情報処理、知識発見、機械学習、人工知能) 
■ 取得特許
1. 2013/10/25 コンテンツ処理装置、コンテンツ処理プログラムおよびコンテンツ処理方法(特許第5391431号(P5391431))Link
2. 2012/03/23 表示装置、コンテンツ閲覧方法およびプログラム(特許第4953190号(P4953190))Link
3. 2011/10/07 コンテンツ処理装置、コンテンツ処理プログラムおよびコンテンツ処理方法(特許第4836068号(P4836068))Link
4. 2011/10/07 コンテンツ処理装置、コンテンツ処理プログラムおよびコンテンツ処理方法(特許第4836069号(P4836069))Link
5. 2011/08/12 コンテンツ編集装置、コンテンツ編集プログラムおよびコンテンツ編集方法(特許第4798479号(P4798479))Link
全件表示(18件)