Я получаю следующее исключение при запуске Deep Learning Pipeline в Spark. Версии
тензор потока и тензорфреймов: 2.0.0 conda: 4.8.3 пипс: 20.0.2 python: 3.6
Исключение возникает при вызове метода соответствия конвейера:
p = Pipeline(stages=[featurizer, lr])
p_model = p.fit(train_df)
Трассировка стека :
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/opt/spark/python/pyspark/ml/base.py", line 132, in fit
return self._fit(dataset)
File "/opt/spark/python/pyspark/ml/pipeline.py", line 107, in _fit
dataset = stage.transform(dataset)
File "/opt/spark/python/pyspark/ml/base.py", line 173, in transform
return self._transform(dataset)
File "/opt/spark/python/pyspark/ml/wrapper.py", line 312, in _transform
return DataFrame(self._java_obj.transform(dataset._jdf), dataset.sql_ctx)
File "/opt/spark/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 1257, in __call__
File "/opt/spark/python/pyspark/sql/utils.py", line 63, in deco
return f(*a, **kw)
File "/opt/spark/python/lib/py4j-0.10.7-src.zip/py4j/protocol.py", line 328, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o56.transform.
: java.lang.NoClassDefFoundError: org/tensorframes/ShapeDescription
at com.databricks.sparkdl.DeepImageFeaturizer.transform(DeepImageFeaturizer.scala:124)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
at py4j.Gateway.invoke(Gateway.java:282)
at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
at py4j.commands.CallCommand.execute(CallCommand.java:79)
at py4j.GatewayConnection.run(GatewayConnection.java:238)
at java.lang.Thread.run(Thread.java:748)
Caused by: java.lang.ClassNotFoundException: org.tensorframes.ShapeDescription
at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
at java.lang.ClassLoader.loadClass(ClassLoader.java:419)
at java.lang.ClassLoader.loadClass(ClassLoader.java:352)
... 12 more
Есть какие-либо предложения для решения этой проблемы?
Conda Environment: Имя Версия
_libgcc_mutex 0.1
_tflow_select 2.3.0
absl-py 0.9.0
argcomplete 1.11.1
asgiref 3.2.7
asn1crypto 1.3.0
astor 0.8.0
astroid 2.3.3
bcrypt 3.1.7
blas 1.0
blinker 1.4
c -are 1.15.0
ca-сертификаты 2020.1.1
cachetools 4.1.0
certifi 2020.4.5.1
cffi 1.14.0
chardet 3.0.4
click 7.1.1
cloudpickle 1.3.0
охват 5.0
криптография 2.8
django 3.0. 5
gast 0.2.2
google-auth 1.13.1
google-auth-oauthlib 0.4.1
google-pasta 0.2.0
grpcio 1.27.2
h5py 2.10. 0
hdf5 1.10.4
idna 2.9
image 1.5.28
isort 4 .3.21
keras 2.3.1
keras-приложения 1.0.8
keras-base 2.3.1
keras-предварительная обработка 1.1.0
lazy-object-proxy 1.4.3
ld_impl_ linux -64 2.33.1
libedit 3.1.20181209 libffi 3.2.1
libg cc -ng 9.1.0
libgfortran-ng 7.3.0
libopenblas 0.3.6
libprotobuf 3.11.4
libsodium 1.0.16
libstdcxx-ng 9.1.0
markdown 3.1.1
mccabe 0.6.1
ncurses 6.2
nomkl 3.0
nose 1.3 .7
numpy 1.18.2
numpy -base 1.18.1
oauthlib 3.1.0
openssl 1.1.1f
opt_einsum 3.1.0
pandas 1.0 .3
параметризованный 0.7.0
paramiko 2.7.1
подушка 7.1.1
pip 20.0.2
protobuf 3.11.4
pyasn1 0.4.8
pyasn1-modules 0.2.8
pycparser 2.20
pyjwt 1.7.1
pylint 2.4.4
pynacl 1.3.0
pyopenssl 19.1.0
pysocks 1.7.1
python 3.6 .10
python -dateutil 2.8.1
pytz 2019.3
pyyaml 5.3.1
readline 8.0
запросы 2.23.0
запросы-oauthli b 1.3.0
rsa 4.0
scipy 1.4.1
setuptools 46.1.3
шесть 1.14.0
sqlite 3.31.1
sqlparse 0.3.1
тензорная доска 2.0. 2
тензор потока 2.0.0
тензор потока-оценка 2.0.1
тензорфреймов 0.2.9
termcolor 1.1.0
tk 8.6.8
typed-ast 1.4.1
urllib3 1.25.8
werkzeug 1.0.0
колесо 0.34.2
обернуто 1.12.1
xz 5.2.4
yaml 0.1.7
zlib 1.2.11