Japanese Moodle: 課題の評定画面の課題ファイルの表示について

課題の評定画面の課題ファイルの表示について

2016年 08月 22日(月曜日) 16:42 - Yuuki Murakami の投稿

いつもお世話になっています。村上です。

現状、Moodle3.0で運用していますが今後を考えて

Moodle3.1.1及び開発版のMoodle3.2devで検証を行っています。

Moodle3.1から課題の評定画面が変わって

表示されるようになっていると思いますが

左側には学生ユーザが提出したdocxファイルなどが

PDF化されて表示される動きなのでしょうか？

3.1.1及び3.2devで動きを検証していましたが

真っ白なページが表示されてしまいます。

スタンプ等は利用可能な為、提出内容が

PDF化されて表示されると推測して書き込みさせていただきました。

3.2devではunoconvをバージョン0.7以降が必要という事で

導入しましたが、結果は変わらず真っ白のままでした。

Moodle3.1以降をご利用の方で学生の提出ファイルが

PDF化され、表示されている方は非常にお手数だと思いますが

アドバイスをご教授願いたいと思います。

宜しくお願い致します。

動作環境　CentOS7 + PHP 5.6.24 + MariaDB 5.5.50

Moodle　　Moodle3.1.1 および Moodle3.2dev

Re: 課題の評定画面の課題ファイルの表示について

2016年 08月 23日(火曜日) 04:53 - Mitsuhiro Yoshida の投稿

> 左側には学生ユーザが提出したdocxファイルなどがPDF化されて表示される動きなのでしょうか？

はい、そうです。

すでにお試しになったかもしれませんが、下記のようなコマンドを実行した場合、正常にPDFに変換されますでしょうか？

unoconv -f pdf test1.docx
unoconv -f pdf test2.text

Re: 課題の評定画面の課題ファイルの表示について

2016年 08月 23日(火曜日) 08:24 - Yuuki Murakami の投稿

Yoshida様、連絡ありがとうございます。

最初はうまく行きませんでしたが、以下のコマンドを実行後、
PDF変換は両方ともうまく行っております。

yum install libreoffice-headless

unoconv -f pdf test1.docx
unoconv -f pdf test2.text　

（textファイルはANSIのままだと文字化け、UTF-8だと正常に表示）

Re: 課題の評定画面の課題ファイルの表示について

2016年 08月 23日(火曜日) 16:52 - Mitsuhiro Yoshida の投稿

ありがとうございます。

下記のように同じような現象を経験されている方々がいらっしゃるようですが、2016/08/10 08:11現在、決定的な解決には至っていないようです。

[Moodle in English: Online Text Assignment doesn't covert to pdf.]
https://moodle.org/mod/forum/discuss.php?d=333814

「管理 > サイト管理 > プラグイン > 活動モジュール > 課題 > フィードバックプラグイン > 課題フィードバックプラグイン管理」ページで「PDF注釈」プラグインを非表示 (目のアイコンをクリック) された上で本投稿の添付画像のようなシンプルな評定画面で運用されてはいかがでしょうか。

Re: 課題の評定画面の課題ファイルの表示について

2016年 08月 24日(水曜日) 08:29 - Yuuki Murakami の投稿

Yoshida様、返信ありがとうございます。

ファイル提出だけなく、オンラインテキストでも駄目なのを確認しました。

以前のバージョンのPDF注釈は動いていたのですが
このバージョンになって問題が出ているようですね。

教えていただいた方法で運用を考えていきたいと思います。
修正パッチが出たら、適用して使いたいですね。

色々とご教授いただき、ありがとうございました。

Re: 課題の評定画面の課題ファイルの表示について

2016年 08月 24日(水曜日) 11:04 - Yuuki Murakami の投稿

追加で書き込みさせていただきます。

docxやtxtファイルではうんともすんとも言いませんでしたが
学生ユーザのアップロードしたファイルがPDFファイルの場合は
問題なく中身が表示される事を確認しました。

またPDFに注釈を入れるのであれば以下のプラグインを導入する方法もありそうですね。

https://moodle.org/plugins/assignsubmission_pdf

Re: 課題の評定画面の課題ファイルの表示について

2016年 09月 5日(月曜日) 10:42 - udagawa mitsuru の投稿

うだがわです。

気になったので今更ですが確認してみました。結果はapache権限でunoconvコマンドを実行すると”Error: Unable to connect or start own listener. Aborting.”というエラーが出て変換に失敗しているようです。rootなどで実行すると問題は出ないため分かりにくいです。
事前に"unoconv --listener"をrootで実行してサービス化しておくと変換自体は行われるようになりました。ファイルハッシュを利用した変換キャッシュが残るためになんらかの設定変更後は課題ファイルをアップロードし直すなどする必要があります。

提出された.docxのPDFへの変換自体は成功したのですが、ファイル名に日本語などを含むと変換に失敗することと文中の日本語などが文字化けして豆腐になる問題があるようです。
前者は簡単に対応できそうですが、後者は日本語フォント追加やブログにあった対処方法を少し試した程度ではダメでした。

Re: 課題の評定画面の課題ファイルの表示について

2016年 09月 5日(月曜日) 16:15 - Yuuki Murakami の投稿

udagawa様、連絡ありがとうございます。

確かに"unoconv --listener"を行った状態では
無事に変換されて出るようになりました。

後は日本語の文字化けですね。
引き続き調べていきたいと思います。

Re: 課題の評定画面の課題ファイルの表示について

2016年 09月 6日(火曜日) 11:18 - Yuuki Murakami の投稿

一度、環境を導入当初の状態にして環境構築から行いました。

CentOS7にphp5.6　及び　MariaDB5.5.50 + unoconv 0.7 という環境で
Moodle3.11をインストールを行いました。

私の環境ではunoconvコマンドをバックグラウンドで実行。

unoconv --listener &

doc、docx、odtファイルなどでも試しましたが、文字化け等もなく
学生が提出したファイルがPDF変換されるようになりました。

PHP関係とMARIADB関係以外にインストールしたのは
libreoffice-headlessをyumでインストールしたくらいです。
libreoffice-headlessでインストールされるunoconvは
バージョン0.6ですので、バージョン0.7をダウンロードしてきて
差し替えています。

フォントなどの指定変更も特にしていません。

Re: 課題の評定画面の課題ファイルの表示について

2016年 09月 6日(火曜日) 13:43 - Yuuki Murakami の投稿

更に書き込みさせていただきます。

上記の設定では課題提出したファイルはPDFとして出力されますが
注釈でテキストボックスなどを使って2バイト文字などを入力した文字列が
文字化けしてしまいます。

moodle/mod/assign/feedback/editpdf/classes/pdf.php 内の
combine_pdfs() とload_pdf() で$this->SetFont() している部分を
対応するフォントに書き換える事で出力されたPDF内のテキストボックス内の
2バイト文字も無事に表示されました。

// $this->SetFont('helvetica', '', 16.0 * $this->scale);
$this->SetFont('kozminproregular', '', 16.0 * $this->scale);

Re: 課題の評定画面の課題ファイルの表示について

2016年 09月 6日(火曜日) 16:23 - Yuuki Murakami の投稿

オンラインテキストも書いた内容がPDFに自動的に変換される事を確認しました。

テキストファイル(.txt)は文字コードがSJISだと文字化けが発生しました。
UTF-8で保存したテキストファイルはPDF変換されても文字化けせずに
表示・出力されています。

Re: 課題の評定画面の課題ファイルの表示について

2016年 09月 7日(水曜日) 16:16 - udagawa mitsuru の投稿

うだがわです

テキストファイルの文字化けを直すのは前述した create_converted_document() の $cmd を定義する直前で一度ファイルが作業用ディレクトリにコピーされているので、テキストファイルならここで中身を見て文字コードをutf-8に合わせる処理を入れるのが適当だと思います。

Re: 課題の評定画面の課題ファイルの表示について

2016年 09月 8日(木曜日) 17:31 - udagawa mitsuru の投稿

テキストファイルの場合に文字コードを変換する処理を書いてみました。十分にテスト出来ていませんが基本的に問題ないと思われます。

        if (in_array($fileextension, array('txt', 'text'))) {
            $textcontents = file_get_contents($filename);
            $enc = mb_detect_encoding($textcontents, 'ASCII, JIS, UTF-8, EUCJP-WIN, EUC-JP, SJIS-WIN, SJIS');
            $textcontents = mb_convert_encoding($textcontents, 'UTF-8', $enc);
            $writebytes = file_put_contents($filename, $textcontents, LOCK_EX);
            if ($writebyts === false) {
                throw new file_exception('filewriteproblem', 'Could not overwrite temp file.');
            }
        }

Re: 課題の評定画面の課題ファイルの表示について

2016年 09月 9日(金曜日) 08:54 - Yuuki Murakami の投稿

udagawa様、書き込みありがとうございます。

lib/filestorage/filestrorage.phpの所定の場所に
書いて頂いた処理を追記したところ、SJISで文字化けが
起こって出力されていたPDFファイルも無事に文字化けする
事もなく正常に出力されました。

実用的で有用な情報、ありがとうございました。

Re: 課題の評定画面の課題ファイルの表示について

2018年 04月 28日(土曜日) 16:10 - Saburo Higuchi の投稿

UTF-8以外のテキストファイルを課題にアップロードしたときに評定ページのPDFが文字化けすることへの対処の件です.

うだがわさん提案の文字コードを変換する処理を書くべき場所は,

Moodle 3.1.*, 3.2.* 当時は, lib/filestorage/filestrorage.php の create_converted_document()

でしたが,

Moodle 3.4.1 では, unoconv converter プラグイン内の files/converter/unoconv/classes/converter.php の start_document_conversion()

内の $cmd への代入の直前に移動しています.

直前の部分で, $filename はテンポラリファイルのパスというそのままの意味で変更不要ですが, 変換前のファイルの拡張子を保持する変数は $fileextension から $fromformat に変更になっていますので, 修正が必要です.

以上の修正(だけ)を施した結果, Moodle 3.4.1, unoconv 0.7 でも, SJIS のテキストファイルが UTF-8 に変換され期待したPDFが生成されています.

うだがわさんありがとうございます.

Re: 課題の評定画面の課題ファイルの表示について

2019年 05月 2日(木曜日) 05:49 - Saburo Higuchi の投稿

Moodle 3.1のころ, 課題に提出されたファイルの2バイト文字が文字化けせず正しくPDFに変換されるためには, moodle/mod/assign/feedback/editpdf/classes/pdf.php 内の複数個所を編集

// $this->SetFont('helvetica', '', 16.0 * $this->scale);
$this->SetFont('kozminproregular', '', 16.0 * $this->scale);

しろという話があったのですが, Moodle 3.5.3 から, pdf.php の編集は不要で, moodle/config.php で

$CFG->pdfexportfont = 'kozminproregular';

すればよい, ようになっていたのですね.

https://tracker.moodle.org/browse/MDL-63439
MDL-63439 assign: Unicode charsets for pdf https://github.com/moodle/moodle/commit/100e479daf8ed9ceaae6c0027a42f29bc177ff4a

Re: 課題の評定画面の課題ファイルの表示について

2020年 08月 25日(火曜日) 19:06 - Saburo Higuchi の投稿

> 課題に提出されたファイルの2バイト文字が文字化けせず正しくPDFに変換されるためには,
(中略)
> Moodle 3.5.3 から, pdf.php の編集は不要で, moodle/config.php で

$CFG->pdfexportfont = 'kozminproregular'; // or 'kozgopromedium'

> すればよい, ようになっていたのですね.

Moodle 3.9.1 でもその通りなのですが, このようにすると, ダウンロードされるPDFでは化けない一方, (少なくとも Debian 10.1, gs 9.27 においては)PDF注釈による評定ページ内のPDFで一切のテキストが表示されなくなってしまいます.

$CFG->pdfexportfont は, moodle/mod/assign/feedback/editpdf/classes/pdf.php では, get_export_font_name() 関数を通じて使われています. 理由は理解できていませんが, combine_pdfs($pdflist, $outfilename) 関数の中(だけ)で, この関数を呼ばず, デフォルト値 'freesans' のままにしておくと, PDF注釈による評定ページ内でも, ダウンロードするPDFの中でも, 期待通りテキストが表示される, 状態になるように見えます.

Re: 課題の評定画面の課題ファイルの表示について

2016年 09月 7日(水曜日) 15:57 - udagawa mitsuru の投稿

うだがわです

.docxの文字化けについては別の問題が発生したときに実行したapache再起動で効いたのか解決しました。CentOS 6、unoconv 0.7の環境で yum groupinstall Fonts や fc-cache なども実行していたのですがうまくいっていませんでした。ただしオンラインテキストの課題については文字化けが解消していません。別途追試を行います。

日本語ファイル名については lib/filestorage/file_storage.php の create_converted_document() の作業用ファイル名を与えている部分を書き換えて解決しました。検証途中でオリジナルを書き換えすぎているのでdiffは出せないのですが、当該部分を以下に示します。

// Copy the file to the tmp dir.
$uniqdir = "core_file/conversions/" . uniqid($file->get_id() . "-", true);
$tmp = make_temp_directory($uniqdir);
//$localfilename = $file->get_filename();
$localfilename = $file->get_id() . "." . $fileextension;
// Safety.
$localfilename = clean_param($localfilename, PARAM_FILE);

Re: 課題の評定画面の課題ファイルの表示について

2017年 06月 4日(日曜日) 14:19 - udagawa mitsuru の投稿

うだがわです

とりあえず動いていたので放置していたのですが、時間が出来たので調べてみました。結局フォントの追加後にunoconv --listener &が必要だったようです。日本語ファイル名については現行のMoodle 3.2.3あたりでは対応されています。

また、unoconvの利用に必要な設定メモ等をblogにしましたので興味があればググってみてください（宣伝っぽい…）。

Re: 課題の評定画面の課題ファイルの表示について

2017年 06月 16日(金曜日) 09:35 - Yuuki Murakami の投稿

udagawa様、情報ありがとうございます。

ブログを見せていただきましたので
参考にさせていただきます。隠しConfigも興味深いです。

ありがとうございました。

Re: 課題の評定画面の課題ファイルの表示について

2017年 06月 26日(月曜日) 11:49 - Yuuki Murakami の投稿

unoconvの影響かわかりませんが、
LibreOfficeのプロセスが暴走しました。
何かいい対処法はないでしょうか？

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
21423 root 20 0 1038836 69676 42904 S 100.3 0.4 2777:05 soffice.bin

Re: 課題の評定画面の課題ファイルの表示について

2017年 06月 27日(火曜日) 08:59 - Yuuki Murakami の投稿

自己レスです。

暴走したsoffice.binは学生の課題ファイルか中の文字列かが
原因かはわかりませんが、何度かKillする事で暴走が止まりました。

暴走してKillするまでの間に提出されたファイルは暴走中の為、
PDFファイルが白紙になってしまっています。
（アップし直すと、問題なくPDF変換されています。）

unoconvのリスナーをバックグラウンドで実行する事で
再び、OfficeファイルがPDF出来る事を確認しています。

Re: 課題の評定画面の課題ファイルの表示について

2017年 06月 27日(火曜日) 09:47 - Mitsuhiro Yoshida の投稿

独自にcronジョブを設定してプロセスをkillされている方もいらっしゃるようです。

[openoffice.org - How to detect and kill a wedged soffice.bin process? - Stack Overflow]
https://stackoverflow.com/questions/13752742/how-to-detect-and-kill-a-wedged-soffice-bin-process

Re: 課題の評定画面の課題ファイルの表示について

2017年 06月 27日(火曜日) 10:32 - Yuuki Murakami の投稿

Yoshida様、ありがとうございます。

なるほど、cronでKillされる方もいらっしゃるのですね。
確かに本来であれば、PDF変換される一瞬だけしか立ち上がらない為
定期的にKillする方法はありかもしれませんね。

逆にいうと、発生する原因がわかれば色々と対応出来そうなのですが
ログなどを見てもわからないですね。

Re: 課題の評定画面の課題ファイルの表示について

2017年 06月 29日(木曜日) 17:31 - udagawa mitsuru の投稿

うだがわです

環境や設定がわからないのでなんとも言えないのですが、unoconvのログが必要であれば以下のように変更すれば取れると思います。

lib/filestorage/file_storage.php で unoconv を実行する際に詳細表示の引数と /var/log/httpd/error_log に記録するようにしています。

        $cmd = escapeshellcmd(trim($CFG->pathtounoconv)) . ' ' .
               escapeshellarg('-vvv') . ' ' .
               escapeshellarg('-f') . ' ' .
               escapeshellarg($format) . ' ' .
               escapeshellarg('-o') . ' ' .
               escapeshellarg($newtmpfile) . ' ' .
               escapeshellarg($filename);

        $output = null;
        $currentdir = getcwd();
        chdir($tmp);
        $result = exec($cmd, $output);
        error_log($output);
        chdir($currentdir);
        touch($newtmpfile);
        if (filesize($newtmpfile) === 0) {
            remove_dir($tmp);
            // Cleanup.
            return false;
        }

unoconv の issue を見ていると同時にドキュメントを変換しようとすると死ぬことがあるようです。
https://github.com/dagwieers/unoconv/issues/225#issuecomment-77833413
もしそうだとすると閲覧時に変換するのは問題があるため、cron か何かで一定時間毎に順番に変換していくような対策が必要になるでしょう。

Re: 課題の評定画面の課題ファイルの表示について

2017年 06月 30日(金曜日) 16:31 - Yuuki Murakami の投稿

お世話になっております。村上です。

今までも沢山のOffice関係のファイルをアップロードしていますが
一度もsoffice.binが暴走（変換失敗）した事はありませんでした。

今回は教員が学生に対して、htmlファイルをアップロードさせており
Office製品とhtmlファイルとの間に原因があるかもしれないですね。
（文字コードとか）

運用的には暴走しだしたら、killall soffice.binしてから
unoconv -l & で元に戻す形で対応しています。

Re: 課題の評定画面の課題ファイルの表示について

2017年 07月 4日(火曜日) 11:35 - Yuuki Murakami の投稿

お世話になっております。村上です。

更に追加でうまくいっておらず困っており書き込みさせていただきます。

学生がHTMLファイルを作成する内容の授業でアップロードした
ファイルのURLをオンラインテキストに記述させる課題で授業を行っています。

教員は[ すべての提出を表示する ]ボタンを押すと、提出一覧の画面に変わりますが
[ 評点 ]ボタンを押すとURLしか書かれていないオンラインテキストもPDF化の処理が
走ると思います。うまく変換されて、URLが書かれたPDFファイルが表示される学生も
いますが、添付ファイルのようにポップアップでエラーが表示されて、何も表示されない
学生もいます。

このエラーが表示される原因がわかればいいのですが、解決出来ておりません。
ちなみにtopコマンドでプロセスを見ていますが、soffice.binは暴走していませんが
変換も出来ない学生がいます。

お手数だとは思いますが、解決策をご存じの方はご教授していただけますでしょうか？

Re: 課題の評定画面の課題ファイルの表示について

2017年 07月 4日(火曜日) 13:48 - Mitsuhiro Yoshida の投稿

恐らく下記バグ報告 (MDL-55859) およびバグ報告内にリンクされていますgithubのプログラム修正が参考になるかと思います。

[[MDL-55859] Assignment pdf conversion doesn't clean up after failure - Moodle Tracker]
https://tracker.moodle.org/browse/MDL-55859

Pull Master Diff URL: https://github.com/ankitagarwal/moodle/compare/e40d5048ca...MDL-55859-master

Re: 課題の評定画面の課題ファイルの表示について

2017年 07月 4日(火曜日) 16:19 - Yuuki Murakami の投稿

Yoshida様、早速のご返答ありがとうございます。

テストの環境で修正を試そうと思いましたが
症状が発生しているコースをバックアップして
リストアすると再現しなかったため、
現象が出ているサーバのコピーを明日作って
試してみようと思います。

修正が有効だったかは検証ののちに書き込みさせて
いただきます。

ご返答ありがとうございました(^^)

Re: 課題の評定画面の課題ファイルの表示について

2017年 07月 5日(水曜日) 13:51 - Yuuki Murakami の投稿

お世話になっております。村上です。

エラーが再現しませんでしたので、
エラーが発生した環境のMoodleのmoodledataとmoodle本体および
mysqldumpを用いてエラーが発生した環境を別サーバに作ってみました。

Yoshida様に教えていただいたURLを元に修正を行ったところ、
困っていたポップアップエラーは発生しなくなりました。

エラーは表示されなくなりましたが、提出したファイルの変換は
空白ページになりました。一度変換されたPDFはキャッシュされてしまう
ようですので、このままではどうしようもなさそうですね。
ファイルを再度アップしていただくなどの運用でカバーするしかなさそうですね。

全般的日本語フォーラム

課題の評定画面の課題ファイルの表示について