Импорт происходит, когда модуль, содержащий импорт, выполняется или импортируется, а не при вызове функций.
Обычно я бы об этом не беспокоился. Если вы столкнулись с замедлением, вы можете зарегистрироваться, чтобы увидеть, связана ли ваша проблема с этим. Если это так, вы можете проверить, можно ли разделить ваш модуль на более мелкие модули.
Но если все файлы используются одной и той же программой, вам все равно придется импортировать все.