神戸大学附属図書館デジタルアーカイブ
https://doi.org/10.24546/0100487710

このアイテムのアクセス数:366件（2025-05-03 12:11 集計）

閲覧可能ファイル 

ファイル フォーマット サイズ 閲覧回数 説明
0100487710 (fulltext) pdf 230 KB 737

メタデータ

ファイル出力

メタデータID
0100487710
アクセス権
open access
出版タイプ
Version of Record
タイトル
Evaluating the Accuracy of ChatGPT in Assessing Writing and Speaking: A Verification Study Using ICNALE GRA
著者
著者名
Uchida, Satoru
言語
English (英語)
収録物名
Learner Corpus Studies in Asia and the World
巻(号)
6
ページ
1-12
出版者
神戸大学国際コミュニケーションセンター
刊行日
2024-03-20
抄録（自由利用可）
Since the emergence of ChatGPT at the end of 2022, extensive applied research has been conducted on Large Language Models (LLMs). This study investigates the extent to which ChatGPT can accurately assess learners’ writing and speaking, utilizing the ICNALE GRA. The ICNALE GRA comprises 140 instances each of writing and speaking data, rated by 80 evaluators. The results revealed that the highest correlation between the overall writing scores and the scores given by ChatGPT 3.5 was 0.801, while for ChatGPT 4.0, it was 0.888. In contrast, the highest correlation with the overall speaking scores was lower, at 0.341 for ChatGPT 3.5 and 0.561 for ChatGPT 4.0. However, it was shown that this correlation could be increased to 0.641 with prompt engineering.
キーワード
learner corpus
ICNALE GRA
automatic scoring
ChatGPT
prompt engineering
カテゴリ
Learner Corpus Studies in Asia and the World ＞ 6号（2024-03-20）
紀要論文