val cfModelHdfs: ALSModel = ALSModel.load(outputPathHdfs)
cfModelHdfs.userFactors.cache
cfModelHdfs.itemFactors.cache
val currentUserPrediction = predictForSetOfUser(cfModelHdfs, userIndexedIdDf, modelParams.numUserPrediction)
I have aroung 13 mil user and 4 mil item and this method [predictForSetOfUser] takes around 12 hour
EMR cluster 6TB memory
Как мне улучшить время выполнения этого алгоритма