Да, поведение, которое вы описываете, звучит нормально. Сборка мусора, помимо прочего, может вызывать периодические колебания в использовании памяти.
Если ваш сервер не начинает чрезмерно перелистывать страницы, я бы не стал ограничивать объем памяти, доступной для AppPools. Внутренние функции ASP.NET, такие как кеширование, работают лучше, когда у них достаточно памяти.
Если вы обеспокоены тем, что использование памяти выше, чем должно быть, рассмотрите возможность запуска приложений через профилировщик памяти, чтобы узнать, как используется память.