Вы захотите импортировать метод csr_matrix (который преобразует числовые массивы в разреженную матрицу), используя
from scipy.sparse import csr_matrix
Затем вы можете просто написать
df_ohe = pd.get_dummies(df, columns=cats, drop_first=True)
df_ohe = csr_matrix(df_ohe.values)
Итак, обратите внимание, что здесь яудалил sparse=True
из метода get_dummies, а затем изменил синтаксис для преобразования в разреженную матрицу.