Я пытался загрузить данные, используя spark_read_csv(), используя ниже
spark_read_csv(sc,name = "as", path = "D:/New folder/Copy.csv",header = TRUE)
Это работает, но все строки не извлекаются. Есть 200 000 строк, и только 1000 строк извлекаются. Почему?