Hola, Ruperto.
Esa es precisamente la forma en que funcionan las preguntas aleatorias: si por ejemplo tienes 20 preguntas en una categoría del banco de preguntas, y en el Cuestionario/Examen (Quiz) incluyes 5 preguntas aleatorias, cuando el alumno A hace su primer intento le saldrán unas preguntas diferentes a las que se le mostrarán al alumno B en su primer intento. Si permites más de un intento a cada alumno, las preguntas del intento 1 serán distintas de las del segundo intento, etc.
Lógicamente, por azar pueden repetirse algunas preguntas en unos y otros. Por eso, cuando mayor sea el número total de preguntas incluidas en la categoría, más difícil será que las preguntas se repitan para unos y otros alumnos/intentos.
Saludos
