Как правило, вам следует беспокоиться только о производительности, если вы заметили проблему. Если вы можете показать, что эти исключения замедляют вашу программу до уровня, который вас не устраивает, вы можете подумать над этим. Я сомневаюсь, что это проблема. Ваш код должен получать информацию из Интернета, никакая оптимизация не изменит это. Если бы они замедляли ход событий, вы, вероятно, ничего не могли бы с этим поделать.