В чем проблема, вы должны это прочитать? В качестве общего предложения вы можете прочитать его чанками:
chunksize = 10000
for chunk in pd.read_csv(filename, chunksize=chunksize):
# do whatever you suppose to
Укажите параметр chunksize для вашей конфигурации P C. Вы можете прочитать этот вопрос для получения дополнительной информации.