Да, скорее всего, это различие связано с разными конфигурациями компиляции. Numpy использует низкоуровневые фортрановые библиотеки BLAS и LAPACK . Numpy, который вы получаете из pip, компилируется с различными реализациями BLAS и LAPACK, чем numpy, который вы получаете от conda. Последний использует реализацию MKL , оптимизированную специально для процессоров Intel.
Вы можете проверить реализацию, которую numpy использует в конкретной среде, с помощью:
import numpy as np
np.show_config()
Некоторые сравнительные тесты можно найти здесь (как уже отмечалось crisb ).