小論文に挑戦

小論文をコンピューターが自動で採点

2月15日朝日新聞の夕刊より

入試で出題される小論文をコンピューターで自動採点する試みが大学入試センターの研究者のもとで進んでいる。第一号のシステムは試作済み。

大学入試センター研究開発部が中心に開発しているもので、アメリカの小論文試験の自動採点システムを参考に取り組んでいるそうです。

名前を「Jess」＝（japanese essay scoring system）

800字から1600字の小論文を
１）文章の形式
２）論理構成
３）問題文に対応しているか

で判定してくれて、10点満点で判定してくれるそうです。

なんとシステムもネット上で公開してくれています。

JESS

やってみました。

800字書くのは大変なので100字制限をつけて。

問題はこちら

日本について論じなさい。

すごい大雑把な問題を設定しました。試験でこんなの出されたらちょっと考え込みますが、実験なのでお気楽です。

書いてみました。

＜解答１＞
四季があって、縦に長いですよー。首都は東京で人いっぱい＾＾
北海道は料理がおいしくて、あ！いまラーメン食べたくなりました。
春は桜がきれいで花見といってはお酒を飲んだりしてますよー。

文章から頭の悪さが透けて見えてきます＾＾

では採点。

結果４．２点（10点満点）

まあまあいいのでは？

修辞 4.2 ( 5 )
漢字の使用が少ないように見受けられます。
長くて難しい語がやや少ないように見受けられます。


論理 0.0 ( 2 )
議論の掘り下げが不十分であるように見受けられます。
議論の接続が不十分であるように見受けられます。


内容 0.0 ( 3 )
質問文との関係が希薄であるように見受けられます。
分量過少による減点 0

最終得点 4.2 ( 10 )

さらに挑戦！

問題は同じで無駄に漢字を増やして挑戦

＜解答２＞
日本とは、小さいけど人口の多い国です。そもそも薔薇が綺麗で、醤油は其の侭飲むと辛いです。また、胡麻は香りがよく、森羅万象です。腹筋の裏側は背筋であるともいえます。日本という国を夜露死苦ね。

漢字が増えただけで内容はめちゃくちゃ。難しそうな漢字をチョイスしただけの文です。「日本」とも関係なくなってきています。「そもそも」とか「ともいえます」で論文らしさを出しました。

結果は？

６．７点！！

意外に高得点でびっくり。

修辞 3.8 ( 5 )
漢字がやや必要以上に使われているように見受けられます。
語彙の多様性がやや不足しています。

長くて難しい語が少ないように見受けられます。


論理 0.5 ( 2 )
議論の掘り下げがやや不十分であるように見受けられます。
議論の接続が不十分であるように見受けられます。


内容 2.4 ( 3 )
分量過少による減点 0

最終得点 6.7 ( 10 )

大丈夫？自動採点システム

そして

チャレンジャー募集　適当な文章で高得点出してみませんか？

現在の高得点者

（うちより高得点です）

電卓日記さん…9.5点（あと少しでパーフェクトに）

へぼ日記さん…7.7点

ちょうど再編集してて（こういうのって、思い追記。なんちゃって。汗）…なぜか微妙に楽しいです。良い記事を書かせていただきました。自画自賛（←四時熟語がキーなのか？）

日本語になってない日本語で高得点出せたらかっこいいですね＾＾。 ただ100字制限つけちゃうと掘り下げるのはむずかしいのかな…。

面白いですね．早速試してみます．

点数出たら教えてくださいね〜。トラバします＾＾。

修辞 4.0 ( 5 ) 語彙の多様性が不足しています。 論理 1.0 ( 2 ) 議論の掘り下げが不十分であるように見受けられます。 内容 1.1 ( 3 ) 質問文との関係が希薄であるように見受けられます。 分量過少による減点 0 最終得点 6.1 ( 10 ) 論理１．０（笑）頭悪いのがバレテしまった・・・

6.1なら高得点の方ですよ。それにどこまで正確なシステムかもあまりあてになりません。（実験段階でめちゃくちゃな答えで高得点もでているし）。

[sug*w1*]

これ、面白いですねー。 でもこのソフトが完成するにつれ、小論文の添削なる作業がいかにあいまいで適当なのかが、判明するように思われ。。。

「機械に好かれる小論文」みたいな参考書ができてくるかもしれませんよ＾＾

ご無沙汰です．7.7点を出して以来，それよりも高い得点は出ません．攻め方はかなり見えてきたつもりなんですが... 奥が深いです．

100字だと限界があるのかもしれませんね。議論を掘り下げられないし。私もまた挑戦したいと思います。

[nek*ge*08]

日本はアジアの東端に位置している。左隣には朝鮮民主主義国、北隣には中華民主義国があるのだ。また東燐はなくはるか広大な太平洋に面している。つまり日本はアジアとの交流を深める必要がある。これが結論である。←この少し不器用な文章でなんとか7.8が出ました。250字あれば9.5ぐらいまで出たんですけど。(・∀・)

すごい。7.8？現在のところ（100字ルールで）最高得点だと思います。入試だとしてもきっと合格点ですね。あれから何回か挑戦していますが、4.2点とかばかりです。

すごい！「攻め方はかなり見えてきた...」とか書いておきながら，どんどん点数が下がっていきます．ハマった！

私も挑戦すればするほど下がる一方です。

日本を客観的な視点から捉え、再認識する必要がある。したがって、国家の再定義が影響を及ぼすことは明確である。しかし、その結論が破綻しては本末転倒である。この問題は、より慎重に議論を重ねてゆく必要がある。(支離滅裂ながら8.8でした)