Есть ли способ, которым я могу избежать этого?
Да.
Если вы покажете, как вы это делаете (эскиз и схема), кто-то может показать вам, какчтобы избежать этого.
Вероятно, вы используете неактивный релейный модуль не лучшим образом. Проще всего не использовать вывод, установленный на OUTPUT, пока загрузчик ожидает последовательного порта.