С предоставленным вами кодом, из моего прочтения кода панд и xlrd, данный файл будет открыт только в режиме чтения.Насколько мне известно, это должно означать, что в том, что вы делаете, нет больше риска, чем в чтении файла любым другим способом - и вы должны прочитать его, чтобы использовать его, в конце концов.
Если это не достаточно вас успокаивает, вы можете минимизировать время открытия файла и, что более важно, не подвергать свой файл внешнему коду, передавая пандам объект BytesIO
вместо пути:
import io
import pandas as pd
data = io.BytesIO(open('File.xlsx', 'rb').read())
df = pd.read_excel(data, sheetname='Sheet1')
# etc
Таким образом, ваш файл будет открыт только на время, необходимое для чтения его в память, а pandas и xlrd будут работать только с копией данных.