Невозможно импортировать модуль «lambda_function»: нет модуля с именем «pyspark»

Question

Я пытаюсь запустить мой код работы PySpark с помощью функции AWS Lambda.Здесь я получаю ошибку ниже: Невозможно импортировать модуль 'lambda_function': ни один модуль с именем 'pyspark'

У моего задания PySpark ниже импорта.Итак, как я могу импортировать библиотеку ниже в мою функцию Lambda.Как установить их в функции лямбда?

from pyspark.sql import SparkSession
from pyspark.sql import functions as F, Column as col
from pyspark.sql.functions import when, coalesce
from pyspark.sql.functions import lit

Спасибо.

Answer 1

Вам необходимо упаковать все лямбда-зависимости AWS вместе с вашим кодом в zip-файл развертывания.

https://docs.aws.amazon.com/lambda/latest/dg/lambda-python-how-to-create-deployment-package.html

Answer 2

Ребята, вы должны знать три вещи, когда вы получили эту ошибку

Невозможно импортировать модуль 'lambda_function'

1. Разрешение файла
2. формат обработчика будет python_filename.lambda_handler
3. Когда вы сжимаете файлы, вы должны указать опцию как zip -r name.zip.(скрытые файлы добавляются только когда мы заканчиваем точку (.) в конце zip-файла)

Answer 3

Вы должны проверить ссылки ниже, с той же ошибкой

aws lambda Невозможно импортировать модуль 'lambda_function': нет модуля с именем 'запросы'

https://www.edureka.co/community/20807/lambda-unable-import-module-handler-module-named-builtins

https://www.edureka.co/community/20359/how-to-import-numpy-and-pandas-inside-aws-lambda-function