bbb это приложение для red5 и работает оно как самостоятельное приложение ( т.е. moodle ему не нужен). С moodle он интегрируется при помощи плагина. В настройках плагина вы указывали где находится bbb-сервер ( url + salt ). браузером на этот url не зайти ?
В логах red5/bbb нет ошибок ?
Последняя инстанция это http://code.google.com/p/bigbluebutton/wiki/IssuesInstructions