Я пытаюсь узнать немного больше о больших данных, особенно в отношении использования Hadoop и Spark. Тем не менее, я продолжаю видеть этот термин «промежуточные результаты», и я не совсем уверен, что он имеет в виду.
Например, я прочитал, что «Hadoop записывает промежуточные результаты на диск хранения компьютера, а Spark сохраняет эти же результаты в памяти, когда это возможно». Я предполагал, что это относится к результатам после Map Reduce, но я не совсем уверен.
Может ли кто-нибудь немного подробнее рассказать о том, что такое "промежуточные результаты" и как они могут варьироваться между Spark и Hadoop?