Состояние загрузки должно быть присоединено к каждому объекту данных, которые имеет адаптер, а не к представлению, поэтому, когда вызывается #onBindViewHolder, вы можете получить экземпляр объекта для входящей позиции, и вы должны показать / скрыть представление загрузки там.в зависимости от состояния загрузки объекта.
Не забывайте обрабатывать эту логику показа / скрытия каждый раз, когда вызывается #onBindViewHolder, чтобы избежать неправильных состояний представления с внутренним процессом представления перезаписи.