Isso talvez tenha relação com a tabela que armazena as sessões dos usuários, caso você armazene as sessões no banco, claro.
Pode ocorrer dessa tabela crescer muito, já li em alguns fóruns que, por conta disso, ela pode precisar de ajustes.
Há também uma maneira de armazenar as sessões dos usuários em arquivos, seria uma alternativa caso o problema seja esse.