Я экспериментирую с Google Cloud Data Fusion.
Я присоединяюсь к двум таблицам BigQuery, используя joiner + обратную запись в BigQuery.
В предварительном просмотре я получаю эту ошибку: java.lang.NoSuchMethodError: net.jpountz.lz4.LZ4BlockInputStream. (Ljava / io / InputStream; Z) V
Я установил задание на Spark вместо Map / Reduce, потому что при предварительном просмотре Map / redund вызывает проблему нехватки памяти.
При развертывании и запуске задания происходит сбой из-за «Контейнера, убитого YARN за превышение пределов памяти».
Самые большие таблицы - около 6 миллионов записей без каких-либо вложенных полей. Меньшая таблица - 66 записей.
Я не указал никаких разделов.
Какой рекомендуемый способ отладки / решения этой проблемы? Увеличить количество рабочих / память?