Lucas, para o que você pretende fazer, deverá utilizar agrupamento. Basicamente, crie um agrupamento para cada um dos grupos que possui. Quando for postar a atividade, no bloco CONFIGURAÇÕES COMUNS DE MÓDULOS, ative "Mostrar avançados", marque a caixinha "Disponível apenas para membros do grupo" e, no item Agrupamento ali existente, escolha o agrupamento para o qual a atividade deverá ser exibida.
Obviamente, você poderá ter agrupamentos com vários grupos dentro. Nesse caso, todos os grupos do agrupamento verão a atividade.
Atenciosamente,
Julio.