замена динамических значений при запросе из pyspark Dataframe - PullRequest
0 голосов
/ 30 августа 2018

У меня есть pyspark DataFrame.

data.show(2)
+--------------+------+
|number_reviews|_count|
+--------------+------+
|           246|   100|
|           159|   100|
+--------------+------+

Когда я запускаю следующий метод, я получаю следующую ошибку

parameterSelect="number_reviews"

query="{}".format(parameterSelect)

query=query.encode("utf-8")


def getMax_value():

    return int(data.agg(max(data.query)).head()[0])

getMax_value()



---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-195-835d4ba50710> in <module>()
      5 
      6     return int(data.agg(max(data.query)).head()[0])
----> 7 getMax_value()

<ipython-input-195-835d4ba50710> in getMax_value()
      4     query=re.sub('"', '',query)
      5 
----> 6     return int(data.agg(max(data.query)).head()[0])
      7 getMax_value()

/Users/kneupane/Documents/spark/spark-2.2.1-bin-hadoop2.7/python/pyspark/sql/dataframe.pyc in __getattr__(self, name)
   1018         if name not in self.columns:
   1019             raise AttributeError(
-> 1020                 "'%s' object has no attribute '%s'" % (self.__class__.__name__, name))
   1021         jc = self._jdf.apply(name)
   1022         return Column(jc)

AttributeError: 'DataFrame' object has no attribute 'query'

Я знаю, как передается параметр 'query'. Как мне решить это? Я хочу сделать запрос динамическим значением, и оно может измениться.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...