Я работаю над некоторым кодом, который включает в себя скрипт my_script.sh, который включает aws...
Я создал документ .ipynb, в котором есть сценарий, который я хочу отправить в spark, и все работает...
Я пытаюсь создать бэкэнд-сервис, который содержит конечную точку. Предполагается, что эта конечная...
Я безуспешно пытался установить Spacy на мой кластер EMR для запуска задания Pyspark. Мои действия...
У меня есть приложение pyspark, которое преобразует csv в паркет, и перед этим я копирую некоторый...
Я не могу передать JSON с пользовательскими настройками приложения из каталога услуг для создания...
У меня странная проблема при запросе из Presto (AWS EMR). Я использовал Presto 0.194 и все было в...
Я пытаюсь развернуть приложение Scala 2.12.0 + Spark 2.4.4 в AWS EMR. У меня Spark 2.4.4 включен в...
Мне нужно было бы полностью сгладить многие (10TB +) все столбцы json в каждом файле. Моя структура...
Я сейчас новичок в больших данных. Мне нужно настроить Jupytertub с PySpark, чтобы делать некоторые...
РЕДАКТИРОВАТЬ: Примечание: Исполнитель обычно отправляет сообщение [GC (Allocation Failure) ]. Он...
Я запускаю приложение spark на пряже в AWS EMR, и я получаю спам от МБ этой ошибки: 19/09/30...
У меня есть сценарий использования данных, основанных на времени (как в журнале). Если я использую...
Мы используем AWS EMR для запуска искровых заданий.Из ганглиев мы видим, что использование памяти...
Я пытаюсь подключиться к mongodb из улья.Я пытаюсь выполнить приведенную ниже команду куста: CREATE...
Я пытаюсь настроить процесс AWS EMR в Airflow, и мне нужно, чтобы job_flow_overrides в...
У меня есть AWS EMR, и я пытаюсь настроить путь (/ hbase) для доступа к HBase в EMR через NGINX.Для...
Я пытаюсь использовать SageMaker Python SDK с PySpark на ноутбуке EMR (Jupyter).При попытке...
Я столкнулся с проблемой правильного чтения меток времени без каких-либо автоматических...
Я хочу создать массив JSON для шагов emr.Я создал массив для одной строки JSON.Вот мой код bash -...
Я получаю сообщение об ошибке при запуске задания Spark о том, что промежуточные файлы уже...
Я открыл кластер AWS EMR и в ноутбуке pyspark3 jupyter я запустил этот код: ".. textRdd =...
Я пытаюсь применить один и тот же набор (18 или около того) преобразований к каждому столбцу (=...
Я запустил очень простое приложение на AWS EMR, когда закончил сборку кластера, добавив шаг.Я...