turnitinについてご存じの方もしくは利用したことのある方いますか?

turnitinについてご存じの方もしくは利用したことのある方いますか?

- Mitsugu Ichihashi の投稿
返信数: 15

市橋と申します。

レポートのコピペ検出についていろいろと漁っておりましたところ,

turnitin というサービスを見つけました。

↓これを利用されたことある方いらっしゃいますか?

http://www.turnitin.com/static/pdf/datasheet_Moodle_9-05.pdf

Mitsugu Ichihashi への返信

Re: turnitinについてご存じの方もしくは利用したことのある方いますか?

- Tatsuya Shirai の投稿

 この手のツールを使用したことは無いですね.

 調べてみていませんが,結構,高価なものでは無いですか?


 でも,課題の独立性のチェックはチャレンジするネタとしては面白そうです.
 どこまでチェックするのか,そのハードルの設け方によってはとても簡単に機能追加できそうですよ.一番難しいのはコピー&ペーストのチェック,特にネット上から得た文章などを提出物の中に含むかどうか,ですね.これは大掛かりな作業になりそうです.でも,

  • ファイルサイズが一致する提出物
  • タイムスタンプが一致する提出物(これは意味が無いか?)
  • チェックサムが一致する提出物

をリストアップする機能は簡単に作れそうです.そんな馬鹿な,と思うかも知れませんが,友人が作成したプログラム課題をそのまま提出する学生がたまに(結構?)居ます.バイナリファイルでも(WordやExcel)単なるコピーならば上記チェックで何とかなるかも知れません.

 作った私も使ったことが無いJokeプログラム,KoreDareno.exe(Windows用)は一応,C/C++/N88-BASICのプログラム課題を対象としていますが,バイナリファイルのチェックも可能です.
http://www.suzuka-ct.ac.jp/mech/ai_mech/~shirai/ProductsPage/Freeware/KoreDareno/index.html

#ジョークで作り始めたのに,途中からかなり本気になってしまいました^^; たまにはプログラムを作らないと腕が鈍りますからね.

Tatsuya Shirai への返信

Re: turnitinについてご存じの方もしくは利用したことのある方いますか?

- Mitsugu Ichihashi の投稿

レスありがとうございます。

どうやらこの秋に日本語化対応するようで,しかも,moodle1.8にも対応しているようです。

実は,

ちょっと,こんなことを言われ,調査を始めました。

「ワープロのレポートは,コピペされるからだめ

やっぱり手書きレポートでなければ・・・・・」

でも

学生は友達のレポートを手書きで書き写してました。

手書きレポートの中身は評価せずに,手書きの行為を評価しているとも

思えてきました・・・・。

一番いいのはレポート自動採点機能かなと・・・

Mitsugu Ichihashi への返信

Re: turnitinについてご存じの方もしくは利用したことのある方いますか?

- Tatsuya Shirai の投稿

 私が担当する実験のレポートは手書きのみ可としています.以前に奥村先生のブログにも書きましたが,着任初年度に懲りました.ワープロですと,本文を丸々コピーして,しかも特に悪いことだとは感じていないようでした.手書きのみOKとしても,友達の手書きレポートをコピー機でコピーしたものを提出した学生には軽い感動を覚えましたが...

 システムというよりも,学生と教師のモラルの問題のような気がしますね.

 私は,丸写しでも,手を使って目を使って書き写す作業を通して,何かを学び取ってくれると期待しています.もちろん,中身もチェックします.


 手書きのみOKのちょっとした弱点は,ICT教育の機会を失っている点ですね.でも,放っておいても学生はアッと言う間にソフトウェアの操作方法や活用法を学んでしまいますので,あまり心配していません.それよりも,いまだにPowerPointを使えない教授の方が私は心配です--;.


 レポート自動採点機能というのは可能なのでしょうか.他人の提出物と中身が違えばオリジナルなので高得点,というのも変ですよね?

#ボリューム,丁寧さ,読みやすさの工夫で配点の50%,残り50%を課題の内容の良し悪し,大体はこれくらいの比率で評価しています.

Tatsuya Shirai への返信

Re: turnitinについてご存じの方もしくは利用したことのある方いますか?

- Minoru Akiyama の投稿
秋山@東北大学大学院 です

名古屋大学の学生さんで以下のような研究をしている方がいます。(今も居るかわかりません)
1)教師がレポートのキーワードをいくつかシステムに与える
2)学生が提出したレポートにどれくらい教師が与えたキーワードを含んでいるか分析し、自動採点する
3)教師がちゃんと読んで評価した結果と自動採点した結果を比べてみるとかなり一致している
以上は、岐阜聖徳学園大学の磯本先生に聞いた話です。

Minoru Akiyama への返信

Re: turnitinについてご存じの方もしくは利用したことのある方いますか?

- Mitsugu Ichihashi の投稿
秋山さん

遅くなって申し訳ありません。
論文を検索してみました。
たぶん,この方の論文かと思います(推測ですが・・・)
さらに
研究されている何人かの先生がヒットしました。

情報ありがとうございました。<(_ _)>
Tatsuya Shirai への返信

Re: turnitinについてご存じの方もしくは利用したことのある方いますか?

- Yuichi Saotome の投稿
五月女です.

turnitinは知っていましたが,Moodleに組み込んでくるとは知りませんでした.
面白いですね.

私も似たような事を研究していますので多少食いついときます.
#Moodleいじりはライフワークです.笑顔

まず,国内にもturnitinの様にネット上の情報をベースにレポート等の類似関係を見つけて採点に利用しようとする研究をなさっている方々がいらっしゃいます.
例えば,北里大学の高橋先生の「Webサイトからの剽窃レポート発見支援システム」(http://ci.nii.ac.jp/naid/40015706395/)などは考え方が近いと思います
ただ,いろいろな研究がなされていますが,ほとんどが単一のレポート内における類似関係を見つける研究なんですよね.

私は,先生がレポートを採点する際に何を基準として「このレポートコピーなんじゃないだろうか?」と思うのかという考え方をシステムとして実現しようとしています.
今作っているのは,「継続的に毎回似たようなレポートを出すグループはコピーしあっているんじゃないだろうか」という先生の考えをサポートするシステムです.これならば「あるレポートについて偶然似てしまった」とか「協調学習の結果似てしまった」といった事を有る程度除く事が出来ますし,同じような間違いをした学生達に一貫性のあるアドバイスが出来るので,学生の混乱を押さえる事が出来るのではないだろうかと考えています.
私たちは,これを「なかよし発見システム」と呼んで開発しています.
まぁ,このシステムを使ったところで「疑わしい」事が分かるだけなので,結局は学生のモラルの問題になるんでしょうけどね.



Yuichi Saotome への返信

Re: turnitinについてご存じの方もしくは利用したことのある方いますか?

- Tatsuya Shirai の投稿

 この件に関して以下のディスカッショントピックスを派生させました.

http://moodle.org/mod/forum/discuss.php?d=109117

ほぼ一致すると思われる(SHA1ハッシュ値およびファイルサイズが一致)提出物をチェックする機能を実装してみました.

Yuichi Saotome への返信

Re: turnitinについてご存じの方もしくは利用したことのある方いますか?

- Mitsugu Ichihashi の投稿
五月女さん

遅くなり申し訳ございません。

「なかよし発見システム」面白そうなシステムですね。

確かに,学生のモラル(学習に対する態度)の問題では
ありますね。

ありがとうございました。
Mitsugu Ichihashi への返信

Re: turnitinについてご存じの方もしくは利用したことのある方いますか?

- Haruhiko Okumura の投稿
おもしろそうな話題ですね。

turnitinというのはWeb上のものとの近さを調べるのでしょうか。

n個の提出課題については,n(n-1)/2個の距離を求めるという方式,あるいはハッシュ値を比べるという方式があると思いますが,ハッシュ値は例えばファイルのどこかにスペースを一つ加えるだけでもまったく違う値になりますので,まったくの剽窃以外は役に立ちそうにありません。スペースだけの違いを無視するために,UNIXの差分検出ソフトdiffでもホワイトスペース(スペース,タブ)だけの違いを無視するというオプションがあります。ハッシュ値を調べる場合にも,あらかじめスペース,タブ,改行の類の連続は一つのスペースに変換するといった正規化を行ってからハッシュ値を調べるのがいいと思います。

もっと本格的には,編集距離(Levenshtein距離など)を使う方法がありますが,重すぎる(大げさすぎる)かも。

gzipでファイル間の距離を測るのを学生にやらせてみたことがあるのですが,あまりぱっとした結果が出なかったようです。

ちょっとやってみようかとも思っていますが(時間がないかも),まずは今までの研究のサーベイですね。どなたかいっしょにやりませんか?
Haruhiko Okumura への返信

Re: turnitinについてご存じの方もしくは利用したことのある方いますか?

- Hiroshi Ueda の投稿
私の英会話学校の先生が、カナダの大学生をやっていたときに、大学で利用していたと言っていました。
提出する前にturnitinでチェックをするそうです。

本学でもシングルキャンパスライセンスで見積りを取っていただいたのですが、学生2,228名で400万ていどでした。

白井先生:
私が(20年ほど前)高専の学生だったとき、「ワープロは普及しているがレポートは手書き」と言われていました。今でもそうなのですね。
Hiroshi Ueda への返信

Re: turnitinについてご存じの方もしくは利用したことのある方いますか?

- Tatsuya Shirai の投稿

> 本学でもシングルキャンパスライセンスで見積りを取っていただいたのですが、学生2,228名で400万ていどでした。

これは,やはり年間400万円ですよね.2,000名強の学生を擁し,多くの教員が利用してくれる(たとえば20名でも)のであれば安いものですね.


 ちなみにGoogleなどの検索エンジンを利用すると安価にシステムが作れるかも,などと考えました.たとえば以下の7個のキーワードを入力すればヒットするのは1件のみです.
 ”SAT 非線形 シリコーン スポンジ 丸棒 円筒形状 多関節”

 提出されたレポートから意味のある単語を抜き出し(これが一筋縄では無いのでしょうね...),キーワード10個で検索しても該当するページがあるならば怪しい,と.なお,ここで単語を切り出すのに辞書を使うのは良くありません.たとえば”ミッシング・リング”(正しくはミッシング・リンク)のように間違った単語をWebからコピーしている場合もありますし,その方が「おいおい,コピーしたのではダメでしょう!」と指摘しやすいですよね(笑).
 Googleがオリジナルの文章からどのようなアルゴリズムで単語を抜き出してインデックスにしているのかが分かれば,それと同じアルゴリズムでレポートから単語を切り出せると良いですね.


 インターネット上のネタ元のページを探すコピペチェックと,「なかよし発見システム」は別ですね.仲良しグループを探し出すプロジェクトの方がちょっと面白そうです.距離,頻度,関係性,いろいろとアルゴリズムが考えられそうですね.文章を信号に変換して相互相関を調べたり,周波数解析を行なったり.ニューラルネットワーク/隠れマルコフモデル...きっと誰かが既にやっているのでしょうねぇ.

Tatsuya Shirai への返信

Re: turnitinについてご存じの方もしくは利用したことのある方いますか?

- Hiroshi Ueda の投稿
年間40万の間違いでした。失礼しました。そうなると現実味がないわけではないですね。
Hiroshi Ueda への返信

Re: turnitinについてご存じの方もしくは利用したことのある方いますか?

- Mitsugu Ichihashi の投稿
UEDA さん

市橋です。
私のサイトと同規模ですね。
年間40万。確かに現実味のある金額ですね。

ありがとうございます。
Haruhiko Okumura への返信

Re: turnitinについてご存じの方もしくは利用したことのある方いますか?

- Yuichi Saotome の投稿
五月女@信州大学です.

なかよし発見システムでは,検証としてC言語のソースコードを対象にしてシステムを試作したのですが,
対象が大学1年生程度の課題だった事もあり,最適化オプションを有効にした状態のgccでコンパイルした際発生した中間ファイル同士を比較すると,
空白から,変数名の違い,関数の順番入れ替え等を吸収してくれ,教員のイメージ通り(教員がなかよしと思ったグループとシステムが提示したグループがほぼ一致)の良い結果を得る事が出来ました.

単一の課題同士の比較では,n-gramやtf・idfを用いた物を多く見かけます.

レポートの採点支援を目的にしたシステムは以下の物が読んでいておもしろかったです.

上田広明,安間文彦,塚原渉,岡本敏雄:“複数の類似
度計算指標を統合したソースコード剽窃検出システム”,
人工知能学会,Vol46,pp55-60 (2006)

 太田貴久, 増山繁 : “学生レポート採点支援のためのレ
ポート類似部分発見手法”, 電子情報通信学会技術研
究報告, Vol.105, No.594, pp.37-42 (2006)

ご参考になるかわかりませんが.
Mitsugu Ichihashi への返信

Re: turnitinについてご存じの方もしくは利用したことのある方いますか?

- Yuichi Saotome の投稿
五月女@信州大学です.

私も反応が遅くなりました.

「なかよし発見システム」については,来月くらいに出る,JSiSEの学会誌に
「レポート類似度の時系列解析に基づく学習者間の依存関係発見システムの開発」
というタイトル(うろ覚え)で載る予定なので,興味があればご確認ください.

似たようなシステムは直ぐに作れると思います.