Вы можете удалить прослушиватели событий только на внешних функциях. Вы не можете удалить прослушиватели событий для анонимных функций, как вы использовали.
Заменить этот код
window.addEventListener('scroll', () => { ... };
и сделайте это вместо
window.addEventListener('scroll', someFunction);
Затем переместите логику функции в функцию
function someFunction() {
// add logic here
}
Затем вы можете удалить прослушиватель щелчков, когда выполняется какое-либо условие, т.е. когда элемент находится в области просмотра
window.removeEventListener('scroll', someFunction);