レベル説明


GoodWriting Raterの【ホリスティック評価】で示されるライティングの4レベルは,外在基準としてJ-CAT(cf. J-CATスコア互換表)を参照すると,表1のようになります。

表1 「比較と意見」のライティング(ホリスティック評価)のレベルとJ-CATとの関係

比較と意見のライティング
ホリスティック評価のレベル
*
J-CAT基準
J-CATProficiency Level旧日本語能力試験(JLPT)**
-100初級
100-150中級前半3級(Level 3)
レベル 1-2150-200中級(中級前半に近い)
レベル 3150-200中級(中級後半に近い)
レベル 4200-250中級後半2級(Level 2)
レベル 5-6250-300上級前半1級(Level 1)
300-350上級
350-日本語母語話者相当

J-CAT スコア互換表:http://www.j-cat.org/page/interpret

* 本レベルのJ-CATとの対応は,自動評価構築のために人間が評価したライティング(作文)818編のレベルと,その作文の書き手のJ-CATのスコア(総得点)を照合することによって得られたものである。なお,J-CATの総得点とライティングのホリスティック評価のレベル(点数)との相関係数は0.62である。

** J-CATスコア互換表では,旧日本語能力試験(2009年まで)との互換が示されている。新日本語能力試験(N1~N5)との互換は示されていないので,ここでも旧日本語能力試験で示す。

 

レベル説明(4レベル)

以下は,順に,GoodWriting Raterの【ホリスティック評価】,【マルチプルトレイト評価】の<目的・内容><構成・結束性><日本語>のレベル説明です。評価用フローチャートも合わせてご覧ください。 評価用フローチャート

 

【ホリスティック評価(Holistic scoring)】

(「比較」して「意見」を述べる課題のライティング(作文)の場合)

 ホリスティック評価では,細部にあまりとらわれないで,全体的印象を重視して評価する。

  • レベル1-2:課題を達成するための日本語自体が読み取りにくく,課題(「比較」と「意見」)が達成されているとは言えない。つまり,「比較」あるいは「意見」のみか,その両方が認められない。
  • レベル3:課題(「比較」と「意見」の両方)は達成されているが,「内容」・「構成」・「日本語」の1つ以上に大きな問題点がある。
  • レベル4:課題が達成され,「内容」・「構成」・「日本語」のどれにも大きな問題点はないが,どれもが一定のレベル以上だとは言えない。
  • レベル5-6:課題が達成され,「内容」・「構成」・「日本語」のどれもが一定のレベル以上である。その中でも,説得力やオリジナリティがある等,特に秀でたものが,レベル6に相当する。

 

【マルチプルトレイト評価(Multiple-trait scoring)】

<目的・内容> (「比較」して「意見」を述べる課題のライティング(作文)の場合 )

 「目的」は,課題達成,つまり,「比較」がなされ「意見」が述べられているかを評価し,「内容」は,メインアイディア(この文章で言いたいこと)の一貫性とサポート(理由,例,説明,読み手の背景知識への配慮)の妥当性を評価する。

  • レベル1-2:この文章の目的(課題)である「比較」と「意見」のどちらか,あるいは,両方が認められない。または,「比較」と「意見」の両方が認められても,メインアイディアについてのサポートが認められない。
  • レベル3:「比較」と「意見」が述べられ,メインアイディアについての何らかのサポートも認められる。しかし,メインアイディアの一貫性やサポートの妥当性は十分ではない。
  • レベル4:メインアイディアの一貫性やサポートの妥当性は認められるが,①明確な一貫性・妥当性,効果的なサポートとは言えない。あるいは,②明確な一貫性・妥当性,効果的なサポートであっても,文章全体に対して,社会的な視点,普遍性,客観性が認められない。
  • レベル5-6:メインアイディアに明確な一貫性・妥当性,効果的なサポートが認められ,かつ,文章全体に対して,社会的な視点,普遍性,客観性が認められる。その中でも,オリジナリティがあり,「読み手」を引き付ける要素があるものが,レベル6に相当する。

 

<構成・結束性>

 「構成」は,「構成意識」(話の順序を考えて書こうとする意識),「パラグラフ(段落)意識」(1つのまとまったことがらを1つのパラグラフに書こうとする意識),マクロ構成(序論・本論・結論)を評価し,「結束性」は,パラグラフ間のつながりを評価する。

  • レベル1-2:パラグラフ(段落)に分けられている,いないに関わらず,全体としての「構成意識」が認められない。または,「構成意識」は認められても,「パラグラフ意識」が認められない。
  • レベル3:「パラグラフ意識」は認められないが,全体にマクロ構成(序論・本論・結論) に相当する箇所が認められる。または,「パラグラフ意識」は認められ,複数のパラグラフがあるが,①「マクロ構成」(序論・本論・結論) に相当するパラグラフが認められない。例えば,序論がなかったり,結論がなかったりする。あるいは,②パラグラフ間に結束性が認められない。
  • レベル4:「マクロ構成」(序論・本論・結論)に相当するパラグラフはあるが,そのバランスが悪い,あるいは,パラグラフ間の結束性が高くない。
  • レベル5-6:序論・本論・結論のバランスは適切であり,パラグラフ間の結束性も高い。その中でも,序論と結論に呼応が認められるものが,レベル6に相当する。

 

<日本語> 

 「日本語」は,言語知識(正確さと多様性)とレジスター(適切さ)を評価する。

  • レベル1-2:言語使用に問題があり,外国人の日本語に慣れていない人には読み取ることが難しい。
  • レベル3:書いてあることはおおよそ読み取れるが,①言語使用はそれほど正確とは言えない。あるいは,②レジスターにやや違和感がある。
  • レベル4:レジスターにあまり違和感はなく,言語使用にある程度以上の正確さはあるが,①かなりの正確さがあるとは言えない。あるいは,②文型,語彙・表現等にそれほど多様性があるとは言えない。
  • レベル5-6:言語使用にかなりの正確さがあり,多様性が認められる。かつ,レジスターには違和感がほとんどない。