У меня есть pyspark DataFrame.
data.show(2)
+--------------+------+
|number_reviews|_count|
+--------------+------+
| 246| 100|
| 159| 100|
+--------------+------+
Когда я запускаю следующий метод, я получаю следующую ошибку
parameterSelect="number_reviews"
query="{}".format(parameterSelect)
query=query.encode("utf-8")
def getMax_value():
return int(data.agg(max(data.query)).head()[0])
getMax_value()
---------------------------------------------------------------------------
AttributeError Traceback (most recent call last)
<ipython-input-195-835d4ba50710> in <module>()
5
6 return int(data.agg(max(data.query)).head()[0])
----> 7 getMax_value()
<ipython-input-195-835d4ba50710> in getMax_value()
4 query=re.sub('"', '',query)
5
----> 6 return int(data.agg(max(data.query)).head()[0])
7 getMax_value()
/Users/kneupane/Documents/spark/spark-2.2.1-bin-hadoop2.7/python/pyspark/sql/dataframe.pyc in __getattr__(self, name)
1018 if name not in self.columns:
1019 raise AttributeError(
-> 1020 "'%s' object has no attribute '%s'" % (self.__class__.__name__, name))
1021 jc = self._jdf.apply(name)
1022 return Column(jc)
AttributeError: 'DataFrame' object has no attribute 'query'
Я знаю, как передается параметр 'query'. Как мне решить это?
Я хочу сделать запрос динамическим значением, и оно может измениться.