自動評価システムの目的と使い方

プロンプト一覧


 

目的

本システムは,日本語ライティング教育に携わる方々を支援することを目的とします。アカデミック・ライティングでよく使われる「比較と意見(論証)」のライティング(作文)を自動評価(機械評価)し,その評価結果を示すとともにテキストに関する情報を提供します。ただし,評価結果の精度に関しては100%保証されるものではありません。

本システムの使い方

1. ライティング(作文)の入力

「比較と意見(論証)」のライティング(作文)を入力してください。文字数は,400字以上1600字以下で設定されています。また,日本語以外の言語やローマ字が大量に含まれたライティングは評価対象とはしていません。

「比較と意見(論証)」のプロンプト(課題文)サンプルはこちらをご参照ください。 プロンプト一覧

2. 評価結果の表示

[実行]をクリックすると,(A)自動評価の結果,(B)テキスト情報,(C)メタ言語ハイライト が表示されます。

(A) 自動評価の結果

ホリスティック評価(Holistic scoring)とマルチプルトレイト評価(Multiple-trait scoring)(「目的・内容」「構成・結束性」「日本語」)の結果と確信度が出ます。

ホリスティック評価とはTOEFLやTOEICのライティングテストのように,ライティングを総合的に評価して,1つの評点を出す方法です。マルチプルトレイト評価とは,「目的・内容」「構成・結束性」「日本語」のようなトレイトに分けてそれぞれ評価する方法です。(詳しくは田中(2016)を参照のこと)

スコアは低いものから順に,1-2,3,4,5-6の4段階評価です。評価結果の確信度についてはこちらに詳しく説明されています。 自動評価について

また,1~6レベルのレベル別サンプルはこちらをご参照ください。 レベル別サンプル

自動評価システム構築に当たっては,まず人間である評価者が1~6の6段階評価でライティングを評価しました。そうしたところ,3~4のレベルが多く,1と6のレベルが少なかったので,精度を上げるために,自動評価では,1と2,5と6を合わせて,1-2,3,4,5-6の4段階評価としました。4段階評価のレベル説明はこちらをご参照ください。 レベル説明

ただし,レベル別サンプルは,人間の評価で使った1~6レベルのサンプルを載せています。サンプルでは,人間の評価と自動評価の結果は一致しています(一部,該当するものがないものもあります)。

(B) テキスト情報

総文字数,総文数,総段落数,漢字率,ひらがな率,カタカナ率,総文字数÷総文数<文あたりの平均文字数>,第1段落の文字数÷総文字数<全体に対する第1段落の割合>,最終段落の文字数÷総文字数<全体に対する最終段落の割合>が出ます。

(C) メタ言語ハイライト

「メタ言語ハイライト」は,投稿されたライティングに使われたメタ言語を色で分類して,ハイライトします。「メタ言語」とは,「本文の内容とは直接関係のない,文章の展開を理解しやすくするような機能を持つ表現や説明のこと」(田中・阿部,2014)です。本システムでは,メタ言語を分類して表示しています。この分類項目は,石黒(2008)の分類を参考に,一部の項目(「予告」「その他」)を追加したものです。ただし,メタ言語ではない部分でも,メタ言語と同形式の語句が含まれている場合,その部分がハイライトされている場合がありますので,ご注意ください。例)「一方通行」の「一方」など

テキスト情報の使い方について

マクロ構成(全体の構成)を見るには,まず「総段落数」を見ます。本サイトのプロンプトのような場合(600字~800字),3~5段落で構成するのが適当だと考えられます。序論や結論に相当する段落がある場合には,「第1段落の文字数÷総文字数」を見ると,序論が全体に占める割合がわかります。同様に,「最終段落の文字数÷総文字数」を見ると,結論が全体に占める割合がわかります。序論・本論・結論のバランスはライティング(小論文,レポート)の長さに応じて「序論:本論:結論= 1:3~5:1」のバランスが良いと考えられます(田中・阿部,2014)。

日本語のレベルが上がると「総文字数」,「文あたりの平均文字数」は増加する傾向があります(佐々木・阿部,2017)。

3. データのダウンロード

ダウンロードのボタンをクリックするとデータ(評価結果,テキスト情報,メタ言語ハイライト)を Microsoft Word (docx) 形式またはHTML形式で保存することができます.Word形式の場合,ページのサイズと向きをA4縦,A4横,Letter縦,Letter横の中から選択することができます。ファイル形式とページのサイズと向きを変更するには,ダウンロードボタンの左にあるセレクターを使用してください。

引用文献

  • 石黒圭(2008)『文章は接続詞で決まる』光文社新書
  • 佐々木藍子・阿部新(2017)「日本語学習者のエッセイに見られる評価群別の言語特徴 ―I-JASにおけるヨーロッパ学習者のデータを対象に―」『第三回 学習者コーパス・ワークショップ予稿集』pp.32-37. 国立国語研究所
  • 田中真理(2016)「パフォーマンス評価はなぜばらつくのか?―アカデミック・ライティング評価における評価者の「型」」宇佐美洋編『「評価」を持って街に出よう―「教えたこと・学んだことの評価」という発想を超えて』第2章 pp.34-53 くろしお出版
  • 田中真理・阿部新(2014)『Good Writingへのパスポート―読み手と構成を意識した日本語ライティング』くろしお出版