Предложение Catch не работает с функцией hive_context.read.json - PullRequest
Новая
       32

Предложение Catch не работает с функцией hive_context.read.json

0 голосов
/ 30 апреля 2019

У меня есть этот скрипт PySpark: 

from pyspark.sql import HiveContext
from pyspark.sql import SQLContext
from pyspark import SparkContext

sc = SparkContext.getOrCreate()
hive_context = HiveContext(sc)

sc.addFile("hdfs:///user/cloudera/2904/src/LogFunction.py")
import LogFunction

try:
    df = hive_context.read.json("/user/cloudera/Projet/pareeam.json")
except IOError:
    LogFunction.WarnLog("Nope")
....
....

Это мой LogFunction.py:

import logging
from logging.handlers import RotatingFileHandler
from pyspark.sql import HiveContext
from pyspark.sql import SQLContext
from pyspark import SparkContext
sc = SparkContext.getOrCreate()
hive_context = HiveContext(sc)

df = hive_context.read.json("/user/cloudera/2904/param.json")
Path = df[df.column.isin("LogRep")].collect()[0][1]
logger = logging.getLogger()
logger.setLevel(logging.DEBUG)
formatter = logging.Formatter('%(asctime)s :: %(levelname)s :: %(message)s')

debug_handler = RotatingFileHandler(Path+ '/LogDebug.log', 'a', 1000000, 1)
debug_handler.setLevel(logging.DEBUG)
debug_handler.setFormatter(formatter)
logger.addHandler(debug_handler)
info_handler = RotatingFileHandler(Path+ '/LogInfo.log', 'a', 1000000, 1)
info_handler.setLevel(logging.INFO)
info_handler.setFormatter(formatter)
logger.addHandler(info_handler)
warning_handler = RotatingFileHandler(Path+ '/LogWarning.log', 'a', 1000000, 1)
warning_handler.setLevel(logging.WARNING)
warning_handler.setFormatter(formatter)
logger.addHandler(warning_handler)

error_handler = RotatingFileHandler(Path+ '/LogError.log', 'a', 1000000, 1)
error_handler.setLevel(logging.ERROR)
error_handler.setFormatter(formatter)
logger.addHandler(error_handler)

def WarnLog(a):
    logger.warning(a)

В любом случае, я уверен, что моя регистрация работает, потому что я уже пробовал ее сдругие ошибки (// Делим на ноль исключений).

Но похоже, что это не с этим примером.При выполнении сценария я получаю 

py4j.protocol.Py4JJavaError: An error occurred while calling o31.json.
: java.io.FileNotFoundException: File hdfs://quickstart.cloudera:8020/user/cloudera/Projet/pareeam.json does not exist.

на терминале, но ничего в моем файле предупреждения.Любая помощь, почему не ловит ошибку?Спасибо

1 Ответ

1 голос
/ 30 апреля 2019

Вы ловите неправильное исключение.Ваш код захватывает IOError, в то время как DataFrameReader.json выбрасывает py4j.protocol.Py4JJavaError (внутренне) и pyspark.sql.utils.AnalysisException

Измените код на 

from pyspark.sql.utils import AnalysisException

try:
    df = hive_context.read.json("/does/not/exist")
except AnalysisException:
    LogFunction.WarnLog("Nope")
...