使用データについて

プロンプト一覧
評価用フローチャート


1. 使用データ

いずれも,「比較・論証」(AとBを比較し,~についての意見を述べよ)のプロンプトに基づいて書かれたスクリプトである。

プロンプト一覧

1) 「多言語母語の日本語学習者横断コーパス」(I-JAS)(未公開データ を含む)

  • データ数:611
  • 書き手:JFLの環境
    母語別データ数:中国語131、英語57、フランス語13、ドイツ語32、ハンガリー語38,インドネシア語48、韓国語99、ロシア語39、スペイン語49、タイ語、28、トルコ語25、ベトナム語52
  • プロンプト:「ファーストフードと家庭料理」
  • 執筆条件:1時間程度,600字程度,辞書・インターネットの使用可
  • データ収集:学習者が作文に関するファイル一式をメール添付で提出
  • データ収集時期:2013年3月~2015年11月
  • I-JASの詳細に関しては,以下を参照(本科研のメンバーの一部がI-JAS構築のプロジェクトメンバーであったため、I-JASでは未公開のデータも使用できた)。

迫田久美子・小西円・佐々木藍子・須賀和香子・細井陽子 (2016)「多言語母語の日本語学習者横断コーパス」『国語研プロジェクトレビュー』6(3), 国立国語研究所, pp. 93-110.

2) TK-data

JSPS科研費22520542「日本語のgood writing:第2言語と第1言語による比較」(代表:田中真理)において収集したデータ

  • データ数:212(106名×2プロンプト)
  • 書き手:日本でライティング教育を受けていない学習者(英語話者と中国語話者)
    (1)JFL環境の英語をL1とする学習者53名
    (2)JFL・JSL環境の中国語をL1とする学習者53名
  • プロンプト:「ファーストフードと家庭料理」及び「通学授業と遠隔授業」
  • 執筆条件:1時間程度,600字~800字程度,辞書・インターネットの使用不可
  • データ収集:学習者がファイル共有サービスを使用して作文を提出
  • データ収集時期:2012年7月~2015年7月
  • 詳細は,以下を参照

田中真理 (2016)「日本語教育の立場から L1, L2双方向から考える日本語アカデミック・ライティング:「構成」面について」Kyoko Oi, Beverley Horne, Masumi Narita, Yuko Itatsu, Mariko Abe, Yuichiro Kobayashi, & Mari Tanaka (著)(2016)ESL Writing in East Asia: Practice, Perception and Perspectives, 4.1. Shobi Printing Co. Ltd. pp.134-153.

田中真理・久保田佐由利 (2016)「日本語アカデミック・ライティングに規範は必要ないか:「構成」面の分析に基づく提案」CAJLE 2016 Conference Proceedings, pp.263-274.

3) 「日本・韓国・台湾の大学生による日本語意見文データベース」(2011年3月)

日本語を母語とする大学生(134名)と日本語を学ぶ大学生(台湾57名、韓国55名)が日本語で執筆した意見文から成る下記データ中の日本人大学生のデータ(134)のみ使用。データベースの詳細は,以下を参照。

伊集院郁子・高橋圭子 (2012)「日本・韓国・台湾の大学生による日本語意見文の構造的特徴-『主張』に着目して-」『東京外国語大学国際日本研究センター日本語・日本学研究』Vol.2 pp.1-16.

4) TSU-data

本科研において収集したデータ

  • データ数:39
  • 書き手:日本国内にある大学の留学生(初級)
    大学学部1年生29名(中国22名、台湾1名、ベトナム6名)
    予備教育課程10名(中国9名、ミャンマー1名)
  • 執筆条件:1時間程度、600字~800字程度、辞書・インターネットの使用不可
  • プロンプト:「外食派と自炊派」
  • データ収集:学部、予備教育毎に一斉実施
  • データ収集時期:2017年4月

5) EU-data

本科研において,海外の研究協力者を通して収集したデータ

  • データ数: 577(ただし,今回のシステム構築に使用したのは60)
  • 書き手:JFLの環境,(主に)大学での日本語学習者
    海外11か国(クロアチア,フランス,ドイツ,ハンガリー,イタリア,オランダ,セルビア,スロベニア,スペイン,ロシア,アメリカ)(主に)大学での日本語学習者
  • 執筆条件:1時間程度,600字~800字程度,辞書の使用可・インターネットの使用不可(インターネット上の辞書は使用可)
    執筆者は,少なくとも,A「比較・論証」のプロンプトから1つ,B「描写あるいはナラティブ」から1つを選択して執筆
  • プロンプト:5種類
    A【比較・論証】:「個人旅行とパック旅行」「外食派と自炊派」
    B【描写】:「あなたの町」「あなたの町に住む」,【ナラティブ】:「忘れられない出来事」
    (ただし,今回のシステム構築に使用したのは,A 【比較・論証】:「個人旅行とパック旅行」「外食派と自炊派」)
  • データ収集:本科研の海外の研究協力者が所属機関でボランティアを集め,学習者がデータ収集サイト(本サイト)にアクセスし提出
  • データ収集時期:2014年11月から2016年5月

2. 評価

 評価用フローチャート

1) 方法

  • 上記の1,2,4の全て及び5の一部のデータの作文を以下の評価基準を用いて,評価した。ただし,200字以下のものは評価対象外とした。
  • フローチャートを使った評価基準
    ホリスティック評価(Holistic scoring)及びマルチプルトレイト評価(Multiple-trait scoring)(「目的・内容」「構成・結束性」「日本語」の3トレイト),いずれも6レベル)。200字以下のものは評価対象外とした。
  • 1つの作文につき評価班メンバー3名が評価した。基本的には3名の評価結果の中央値を採用し,6点満点中2点以上の差がある場合には,残りのメンバーも加わってミーティングで評価点を決定した。
  • 3名の選び方は,各採点者が採点する作文の数が大きく違わないように,ホリスティック評価では評価班メンバー6名から3名を選ぶ組み合わせ20通り(=6C3)から,マルチプルトレイト評価では5名から3名を選ぶ組み合わせ10通り(=5C3)から,ランダムに選んだ。

2) 結果(ホリスティック評価)

a. I-JAS

レベル1: 10編, レベル2: 87編,レベル3: 247編,レベル4: 184編,レベル5: 72編,レベル6: 6編,評価対象外: 5編

b. TK-data

レベル1; 0編,レベル2: 0編,レベル3: 55編,レベル4: 109編,レベル5: 43編,レベル6: 5編

c. TSU-data

レベル1: 7編,レベル2:15編,レベル3:17編,レベル4:0編,レベル5:0編,レベル6:0編