1) "Lo que me dices en el apartado 3 no se me muestra tal"
Todos los aspectos relacionados con el manejo de roles y permisos no están disponibles
en la versión 1.6.3 (aparecieron, según recuerdo, en la versión 1.7+).
Osea que mejor dejemos de lado estos temas.
2) "me interesa que los alumnos de cada grupo sólo vean los mensajes de los alumnos
de cada grupo"
Esto, definitivamente se logra con los grupos separados, osea que por este lado
no creo que haya mayor problema.
3) "me interesa que los profesores puedan escribir un sólo mensaje y todos los alumnos
de todos los grupos puedan leerlo y escribir en ellos, sin que los alumnos de otros
grupos puedan ver lo que responde en ellos gente de otros grupos."
Creo que esta parte tiene 3 componentes que, en mi opinión, se "armonizarían"
si el profesor escribe dos veces el mismo mensaje, tal vez en foros configurados con
grupos separados (hay que hacer pruebas).
Si a los profesores les resulta muy molesto escribir dos veces
la misma cosa, quizá puedan hacer "copy-paste"
Bueno, si esto no te resulta práctico, creo que puedes intentar lo que quieres creando
diversos foros y experimentando con los grupos visibles y no visibles para cada foro.
Igual y te sale exactamente lo que quieres, o bien, algo parecido.
Saludos