Как выгрузить данные Redshift, содержащие символы новой строки, в одну строку? - PullRequest
Новая
       36

Как выгрузить данные Redshift, содержащие символы новой строки, в одну строку?

0 голосов
/ 07 октября 2018

Я пытаюсь выгрузить данные красного смещения и прочитать их, используя искру.Но я получаю больше строк в выгруженных данных по сравнению с исходными записями в таблице Redshift.Это происходит из-за символов новой строки в данных.Как я могу выгрузить данные, чтобы я мог их безопасно прочитать, используя искру (без проблем с искаженными записями)

Пример данных одного столбца - 

5.7.1 [23.253.182.55      18] Our system has detected that this message is
5.7.1 likely suspicious due to the very low reputation of the sending IP
5.7.1 address. To best protect our users from spam, the message has been
5.7.1 blocked. Please visit
5.7.1  https://support.google.com/mail/answer/188131 for more information. o68-v6si2862477itg.128 - gsmtp

При выгрузке я пробовал три комбинации нижено не повезло -

ALLOWOVERWRITE разделитель '\ 001' escape;

ALLOWOVERWRITE delimiter '\ 001' escape addquotes;

ALLOWOVERWRITE delimiter '\ 001' addquotes;

enter image description here

1 Ответ

0 голосов
/ 08 октября 2018

синтаксис unload требует в качестве ввода оператор выбора (произвольный запрос), а не просто имя исходной таблицы, поэтому вы можете заменить символы новой строки пустыми строками или пробелами в запросе:

replace(your_text_field,'\n',' ')

...