Как создать Pandas DataFrame, используя Presto, не требуя PrestoHook of Airflow? - PullRequest
Новая
       40

Как создать Pandas DataFrame, используя Presto, не требуя PrestoHook of Airflow?

0 голосов
/ 07 июня 2019

Я хочу создать панды dataframe из улья, используя Presto.Я могу сделать это, используя PrestoHook Airflow, но хотел сделать то же самое, не используя его (Airflow).

Я попытался прочитать Presto клиент для Python , но такой функции не существует.

Я использую следующее для создания pandas dataframe: 

def get_pandas_df(self, hql, parameters=None):
        """
        Get a pandas dataframe from a sql query.
        """
        import pandas
        cursor = self.get_cursor()
        try:
            cursor.execute(self._strip_sql(hql), parameters)
            data = cursor.fetchall()
        except DatabaseError as e:
            raise PrestoException(self._get_pretty_exception_message(e))
        column_descriptions = cursor.description
        if data:
            df = pandas.DataFrame(data)
            df.columns = [c[0] for c in column_descriptions]
        else:
            df = pandas.DataFrame()
        return df

Это предусмотрено в airflow / hooks / presto_hook .

Я хотел использовать ту же или аналогичную функцию без использования Airflow.Следовательно, можем ли мы создать pandas dataframe, используя Presto без воздушного потока?

...