Сеансы загружаются лениво: если вы не используете сеанс во время запроса, Django не загрузит его.
Сюда относится request.user: если вы обращаетесь к нему, он получает доступ к сеансу, чтобы найти пользователя. (Он также загружается лениво - если вы не обращаетесь к request.user, он также не будет обращаться к сеансу.)
Итак, выясните, что обращается к сеансу, и устраните его - и если вы не можете, по крайней мере, вы поймете, почему сеанс вытягивается.