0100490305

open access

Version of Record

脳性麻痺音声認識のための日本語および英語障害者音声を用いた音響モデルの学習

Acoustic model training using Japanese and English dysarthric speech for speech recognition of a person with cerebral palsy

Japanese (日本語)

神戸大学都市安全研究センター研究報告

28

13-18

神戸大学都市安全研究センター

2024-03

本研究では構音障害者、特に脳性麻痺者のための音声認識技術の開発を目的とする。脳性麻痺者は手足の動作が不自由である場合が多いため、ハンズフリーで操作できる音声認識デバイスは魅力的である。しかし、脳性麻痺者の発話スタイルは健常者と大きく異なっており、既存のモデルでは音声認識が困難である場合が多い。そのため、本研究ではOpenAI社が公開している多言語音声認識モデルWhisperに着目する。Whisperは日本語音声に対して高い認識性能を示しているが、構音障害者音声に対する認識精度は低下する課題がある。本研究ではWhisperを日本人の構音障害者音声でFine tuningすることによって認識率の向上を目指した。その結果、学習前と比べて認識率が大幅に上昇することが確認された。また、構音障害者は発話の際の心身への負担から音声を大量に収録することが難しいという課題があり、それに対処するため、英語の構音障害者音声も学習させる実験も行った。その結果、日本語障害者音声のみを学習した場合と比べて、さらに1%程度誤り率が改善した。

Fine tuning

紀要論文