Промоделировал Вашу ситуацию.
После установления галочки "принудительно скачивать" (в режиме В ТОМ ЖЕ ОКНЕ) файл скачивается, а не открывается в Мудл.
При повторном обращении к редактированию ресурса галочка "принудительно скачивать" СТОИТ, режим В НОВОМ ОКНЕ ??!! Изменить режим скачивания/отображения НЕЛЬЗЯ, галочка и В новом окне не активны!
Если при обращении к редактированию ресурса нажать Сохранить (даже ничего не меняя) - настройки сбрасываются к умолчанию (без галочки и в новом окне). Чудеса, а может быть глюк...
Может быть это Вам это будет полезным.