Как уже написал, докер тут совсем не обязателен.
По сути есть крайние варианты:
* поставить всё на одну машину, тогда не нужно будет разруливать адреса/порты и т.п., но будете ограничены тем, что можно реализовать в рамках одной убунты.
* поставить на машину гипервизор (мне нравится Vmware esxi, но есть и альтернативы, например proxmox). В гипервизоре создать отдельную виртуальную машину для moodle, отдельную для почтового сервера. В этом случае у вас будет полностью автономные виртуальные машины, на каждую сможете поставить ту операционку, какую захотите. Соответственно, вы сможете использовать инструкции из интернета по каждому отдельному продукту в привычной операционной системе - таких инструкций больше, чем инструкций как что-то поднять в докере. Если вам потом потребуется поставить ещё какую-то систему, всегда сможете создать для неё ещё одну виртуалку.
Но в этой схеме вам потребуется как-то разруливать трафик между виртуальными машинами. Веб-сервер и почтовик можно разрулить на уровне портов, для этого достаточно маршрутизатора с NAT. Если в вашей инфраструктуре такого нет, и ваш сервер просто смотрит с белым ip напрямую в мир, то потребуется создать ещё одну виртуальную машину для маршрутизатора/фаервола (тут выбор вариантов софта и религиозные войны ещё больше, чем для почтовых серверов).
* вариант с докером он промежуточный между ними. Изоляция между виртуалками есть, но не такая полная. Если захотите поставить, например, bigbluebutton, то в виртуалке это сможете сделать легко, поставив нужную ОС по инструкции, а для докера просто нет инструкции.
И замечание о почте. Для учебных заведений доступны бесплатные неограниченные лицензии на Google Apps, Microsoft 365, Яндекс для бизнеса, mail.ru для бизнеса. Там везде есть почтовик в удобном интерфейсе, который вам не потребуется самому админить, тратить на него место и трафик, плюс ещё место на облачном диске дадут каждому студенту, не нужно будет париться про бэкапы и т.п. Если у вас развернут ActiveDirectory, то можно настроить синхронизацию, и почты будут создаваться автоматически; если вход в moodle через active directory, то у студентов ещё и будет везде одинаковый пароль