Мы можем избежать такой ситуации, задержав выполнение и удалив события между задержками, см. Пример ниже и добавили 1000 мс как задержку, которую можно изменить в зависимости от ваших требований.
let scrollPage = (deltaY)=>{
console.log(deltaY);
if (deltaY > 0) scrollDown();
else if (deltaY < 0) scrollUp();
};
var delayReg;
window.addEventListener('wheel', ({ deltaY }) => {
clearTimeout(delayReg);
delayReg = setTimeout(scrollPage.bind(deltaY),1000);
});