Выберите запрос к CSV возвращает строки ошибок в верхней - PullRequest
Новая
       7

Выберите запрос к CSV возвращает строки ошибок в верхней

0 голосов
/ 17 сентября 2018

Использование запроса выбора Hive Sql для загрузки в CSV-файл возвращает строки с ошибками вверху 

cmd='''hive -e 'set hive.cli.print.header=true; set hive.resultset.use.unique.column.names=false; use hive_db; select * from table1; ' | sed 's/[\t]/,/g'  > /mapr/user/outfile.csv'''
import paramiko
ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.load_host_keys(os.path.expanduser(os.path.join("~", ".ssh", "known_hosts")))
ssh.connect('hiveserver', username='userid', password='pwd')
sshin, sshout, ssherr= ssh.exec_command(cmd)

выходной CSV-файл имеет нижние строки в верхней части файла. Данные из запроса выбора присутствуют после этих строк. 

2018-09-17 02:22:18,643 main ERROR PatternLayout contains an invalid element or attribute "ConversionPattern"
2018-09-17 02:22:18,665 main ERROR PatternLayout contains an invalid element or attribute "ConversionPattern"
2018-09-17 02:22:18,671 main ERROR RollingRandomAccessFile contains invalid attributes "MaxBackupIndex", "MaxFileSize"

Что это за ошибки. Как этого избежать? Есть ли какой-либо другой более простой способ импортировать запрос на выборку в один файл CSV ? 

Python version:Python 3.6.4 |Anaconda custom (64-bit)| (default, Jan 16 2018, 18:10:19)
    [GCC 7.2.0] on linux

paramiko version: paramiko==2.4.1

Hive version : Hive 2.1.1-mapr-1803

Hadoop Version : Hadoop 2.7.0-mapr-1707
...