GoodWriting Raterの【ホリスティック評価】で示されるライティングの4レベルは,外在基準としてJ-CAT(cf. J-CATスコア互換表)を参照すると,表1のようになります。
表1 「比較と意見」のライティング(ホリスティック評価)のレベルとJ-CATとの関係
比較と意見のライティング ホリスティック評価のレベル* | J-CAT基準 | ||
J-CAT | Proficiency Level | 旧日本語能力試験(JLPT)** | |
-100 | 初級 | ||
100-150 | 中級前半 | 3級(Level 3) | |
レベル 1-2 | 150-200 | 中級(中級前半に近い) | |
レベル 3 | 150-200 | 中級(中級後半に近い) | |
レベル 4 | 200-250 | 中級後半 | 2級(Level 2) |
レベル 5-6 | 250-300 | 上級前半 | 1級(Level 1) |
300-350 | 上級 | ||
350- | 日本語母語話者相当 | ||
J-CAT スコア互換表:http://www.j-cat.org/page/interpret
* 本レベルのJ-CATとの対応は,自動評価構築のために人間が評価したライティング(作文)818編のレベルと,その作文の書き手のJ-CATのスコア(総得点)を照合することによって得られたものである。なお,J-CATの総得点とライティングのホリスティック評価のレベル(点数)との相関係数は0.62である。
** J-CATスコア互換表では,旧日本語能力試験(2009年まで)との互換が示されている。新日本語能力試験(N1~N5)との互換は示されていないので,ここでも旧日本語能力試験で示す。
レベル説明(4レベル)
以下は,順に,GoodWriting Raterの【ホリスティック評価】,【マルチプルトレイト評価】の<目的・内容><構成・結束性><日本語>のレベル説明です。評価用フローチャートも合わせてご覧ください。 評価用フローチャート
【ホリスティック評価(Holistic scoring)】
(「比較」して「意見」を述べる課題のライティング(作文)の場合)
ホリスティック評価では,細部にあまりとらわれないで,全体的印象を重視して評価する。
- レベル1-2:課題を達成するための日本語自体が読み取りにくく,課題(「比較」と「意見」)が達成されているとは言えない。つまり,「比較」あるいは「意見」のみか,その両方が認められない。
- レベル3:課題(「比較」と「意見」の両方)は達成されているが,「内容」・「構成」・「日本語」の1つ以上に大きな問題点がある。
- レベル4:課題が達成され,「内容」・「構成」・「日本語」のどれにも大きな問題点はないが,どれもが一定のレベル以上だとは言えない。
- レベル5-6:課題が達成され,「内容」・「構成」・「日本語」のどれもが一定のレベル以上である。その中でも,説得力やオリジナリティがある等,特に秀でたものが,レベル6に相当する。
【マルチプルトレイト評価(Multiple-trait scoring)】
<目的・内容> (「比較」して「意見」を述べる課題のライティング(作文)の場合 )
「目的」は,課題達成,つまり,「比較」がなされ「意見」が述べられているかを評価し,「内容」は,メインアイディア(この文章で言いたいこと)の一貫性とサポート(理由,例,説明,読み手の背景知識への配慮)の妥当性を評価する。
- レベル1-2:この文章の目的(課題)である「比較」と「意見」のどちらか,あるいは,両方が認められない。または,「比較」と「意見」の両方が認められても,メインアイディアについてのサポートが認められない。
- レベル3:「比較」と「意見」が述べられ,メインアイディアについての何らかのサポートも認められる。しかし,メインアイディアの一貫性やサポートの妥当性は十分ではない。
- レベル4:メインアイディアの一貫性やサポートの妥当性は認められるが,①明確な一貫性・妥当性,効果的なサポートとは言えない。あるいは,②明確な一貫性・妥当性,効果的なサポートであっても,文章全体に対して,社会的な視点,普遍性,客観性が認められない。
- レベル5-6:メインアイディアに明確な一貫性・妥当性,効果的なサポートが認められ,かつ,文章全体に対して,社会的な視点,普遍性,客観性が認められる。その中でも,オリジナリティがあり,「読み手」を引き付ける要素があるものが,レベル6に相当する。
<構成・結束性>
「構成」は,「構成意識」(話の順序を考えて書こうとする意識),「パラグラフ(段落)意識」(1つのまとまったことがらを1つのパラグラフに書こうとする意識),マクロ構成(序論・本論・結論)を評価し,「結束性」は,パラグラフ間のつながりを評価する。
- レベル1-2:パラグラフ(段落)に分けられている,いないに関わらず,全体としての「構成意識」が認められない。または,「構成意識」は認められても,「パラグラフ意識」が認められない。
- レベル3:「パラグラフ意識」は認められないが,全体にマクロ構成(序論・本論・結論) に相当する箇所が認められる。または,「パラグラフ意識」は認められ,複数のパラグラフがあるが,①「マクロ構成」(序論・本論・結論) に相当するパラグラフが認められない。例えば,序論がなかったり,結論がなかったりする。あるいは,②パラグラフ間に結束性が認められない。
- レベル4:「マクロ構成」(序論・本論・結論)に相当するパラグラフはあるが,そのバランスが悪い,あるいは,パラグラフ間の結束性が高くない。
- レベル5-6:序論・本論・結論のバランスは適切であり,パラグラフ間の結束性も高い。その中でも,序論と結論に呼応が認められるものが,レベル6に相当する。
<日本語>
「日本語」は,言語知識(正確さと多様性)とレジスター(適切さ)を評価する。
- レベル1-2:言語使用に問題があり,外国人の日本語に慣れていない人には読み取ることが難しい。
- レベル3:書いてあることはおおよそ読み取れるが,①言語使用はそれほど正確とは言えない。あるいは,②レジスターにやや違和感がある。
- レベル4:レジスターにあまり違和感はなく,言語使用にある程度以上の正確さはあるが,①かなりの正確さがあるとは言えない。あるいは,②文型,語彙・表現等にそれほど多様性があるとは言えない。
- レベル5-6:言語使用にかなりの正確さがあり,多様性が認められる。かつ,レジスターには違和感がほとんどない。