У меня есть данные столбца, которые в настоящее время читаются с использованием numpy.loadtxt(filename,usecols=[0,1,2,3],dtype=float). Это прекрасно работает, когда размер файла не так велик. На данный момент размер файла данных составляет около 50 ГБ, а numpy.loadtxt() занимает слишком много времени.
Существует ли более эффективный способ чтения этих данных с использованием dask и последующего преобразования его в массив numpy?
PS: я раньше не употреблял даска.