使用データについて

プロンプト一覧
評価用フローチャート

1. 使用データ

いずれも，「比較・論証」（AとBを比較し，～についての意見を述べよ）のプロンプトに基づいて書かれたスクリプトである。

プロンプト一覧

1) 「多言語母語の日本語学習者横断コーパス」（I-JAS）（未公開データを含む）

データ数：611
書き手：JFLの環境
母語別データ数：中国語131、英語57、フランス語13、ドイツ語32、ハンガリー語38，インドネシア語48、韓国語99、ロシア語39、スペイン語49、タイ語、28、トルコ語25、ベトナム語52
プロンプト：「ファーストフードと家庭料理」
執筆条件：1時間程度，600字程度，辞書・インターネットの使用可
データ収集：学習者が作文に関するファイル一式をメール添付で提出
データ収集時期：2013年3月～2015年11月
I-JASの詳細に関しては，以下を参照（本科研のメンバーの一部がI-JAS構築のプロジェクトメンバーであったため、I-JASでは未公開のデータも使用できた）。

迫田久美子・小西円・佐々木藍子・須賀和香子・細井陽子 (2016)「多言語母語の日本語学習者横断コーパス」『国語研プロジェクトレビュー』6(3), 国立国語研究所, pp. 93-110.

2) TK-data

JSPS科研費22520542「日本語のgood writing：第2言語と第1言語による比較」（代表：田中真理）において収集したデータ

データ数：212（106名×2プロンプト）
書き手：日本でライティング教育を受けていない学習者（英語話者と中国語話者）
（1）JFL環境の英語をL1とする学習者53名
（2）JFL・JSL環境の中国語をL1とする学習者53名
プロンプト：「ファーストフードと家庭料理」及び「通学授業と遠隔授業」
執筆条件：1時間程度，600字～800字程度，辞書・インターネットの使用不可
データ収集：学習者がファイル共有サービスを使用して作文を提出
データ収集時期：2012年7月～2015年7月
詳細は，以下を参照

田中真理 (2016)「日本語教育の立場から　L1, L2双方向から考える日本語アカデミック・ライティング：「構成」面について」Kyoko Oi, Beverley Horne, Masumi Narita, Yuko Itatsu, Mariko Abe, Yuichiro Kobayashi, & Mari Tanaka (著)（2016）ESL Writing in East Asia: Practice, Perception and Perspectives, 4.1. Shobi Printing Co. Ltd. pp.134-153.

田中真理・久保田佐由利 (2016)「日本語アカデミック・ライティングに規範は必要ないか：「構成」面の分析に基づく提案」CAJLE 2016 Conference Proceedings, pp.263-274.

3) 「日本・韓国・台湾の大学生による日本語意見文データベース」（2011年３月）

日本語を母語とする大学生（134名）と日本語を学ぶ大学生（台湾57名、韓国55名）が日本語で執筆した意見文から成る下記データ中の日本人大学生のデータ（134）のみ使用。データベースの詳細は，以下を参照。

伊集院郁子・高橋圭子 (2012)「日本・韓国・台湾の大学生による日本語意見文の構造的特徴－『主張』に着目して－」『東京外国語大学国際日本研究センター日本語・日本学研究』Vol.2 pp.1-16.

4) TSU-data

本科研において収集したデータ

データ数：39
書き手：日本国内にある大学の留学生（初級）
大学学部１年生29名（中国22名、台湾1名、ベトナム6名）
予備教育課程10名（中国9名、ミャンマー1名）
執筆条件：1時間程度、600字～800字程度、辞書・インターネットの使用不可
プロンプト：「外食派と自炊派」
データ収集：学部、予備教育毎に一斉実施
データ収集時期：2017年4月

5) EU-data

本科研において，海外の研究協力者を通して収集したデータ

データ数： 577（ただし，今回のシステム構築に使用したのは60）
書き手：JFLの環境，（主に）大学での日本語学習者
海外11か国（クロアチア，フランス，ドイツ，ハンガリー，イタリア，オランダ，セルビア，スロベニア，スペイン，ロシア，アメリカ）（主に）大学での日本語学習者
執筆条件：1時間程度，600字～800字程度，辞書の使用可・インターネットの使用不可（インターネット上の辞書は使用可）
執筆者は，少なくとも，A「比較・論証」のプロンプトから１つ，B「描写あるいはナラティブ」から１つを選択して執筆
プロンプト：5種類
A【比較・論証】：「個人旅行とパック旅行」「外食派と自炊派」
B【描写】:「あなたの町」「あなたの町に住む」，【ナラティブ】：「忘れられない出来事」
（ただし，今回のシステム構築に使用したのは，A 【比較・論証】：「個人旅行とパック旅行」「外食派と自炊派」）
データ収集：本科研の海外の研究協力者が所属機関でボランティアを集め，学習者がデータ収集サイト（本サイト）にアクセスし提出
データ収集時期：2014年11月から2016年5月

2. 評価

評価用フローチャート

1) 方法

上記の1，2，4の全て及び5の一部のデータの作文を以下の評価基準を用いて，評価した。ただし，200字以下のものは評価対象外とした。
フローチャートを使った評価基準
ホリスティック評価（Holistic scoring）及びマルチプルトレイト評価（Multiple-trait scoring）（「目的・内容」「構成・結束性」「日本語」の3トレイト），いずれも6レベル）。200字以下のものは評価対象外とした。
1つの作文につき評価班メンバー3名が評価した。基本的には3名の評価結果の中央値を採用し，6点満点中2点以上の差がある場合には，残りのメンバーも加わってミーティングで評価点を決定した。
3名の選び方は，各採点者が採点する作文の数が大きく違わないように，ホリスティック評価では評価班メンバー6名から3名を選ぶ組み合わせ20通り（＝₆C₃）から，マルチプルトレイト評価では5名から3名を選ぶ組み合わせ10通り（＝₅C₃）から，ランダムに選んだ。

2) 結果（ホリスティック評価）

a. I-JAS

レベル1: 10編, レベル2: 87編，レベル3: 247編，レベル4: 184編，レベル5: 72編，レベル6: 6編，評価対象外: 5編

b. TK-data

レベル1; 0編，レベル2: 0編，レベル3: 55編，レベル4: 109編，レベル5: 43編，レベル6: 5編

c. TSU-data

レベル1: 7編，レベル2：15編，レベル3：17編，レベル4：0編，レベル5：0編，レベル6：0編