Я наконец исправил это, переустановив pandas и numpy. Я не думал об этом, потому что я переустанавливал pandas во время процесса несколько раз. В любом случае, если у кого-то возникла такая же проблема и ему нужно последнее средство:
pip uninstall pandas -y
pip uninstall numpy -y
pip install pandas
pip install numpy
Редактировать: После этого я понимаю, что способ установки / подключения Anaconda был грязным, поэтому я переустановил Anaconda и с pyinstaller было намного проще работать. Чтобы использовать pyinstaller с Anaconda вместо значения по умолчанию python после переустановки Anaconda, conda install -c conda-forge pyinstaller