Python import ищет пакеты в sys.path, поэтому в целом использование sys.path "hack" должно работать. В качестве альтернативы вы можете добавить путь к пакету в PYTHONPATH, который затем будет добавлен и в sys.path.
Однако, с Pandas это не работает. Pandas использует C расширения (в основном написанные с использованием Cython) для ускорения определенных операций. Чтобы установить pandas из исходного кода, вам необходимо скомпилировать эти C расширения, что означает, что вам нужен C компилятор.
Если вам даже не разрешено использовать pip, это, вероятно, относится к C компилятор превыше всего.