Greenplum COPY не фильтрует повторяющиеся записи - PullRequest
0 голосов
/ 04 августа 2011

У меня проблема с загрузкой содержимого в таблицу зеленой сливы с помощью команды COPY.У меня есть три столбца таблицы, скажем, A, B, C, и таблица не должна содержать дубликаты элементов.Таким образом, я сделал составной ключ, который удаляет три указанных выше

PRIMARY KEY ( A , B , C )

Но входной файл, который я использую для загрузки таблицы, содержит повторяющиеся записи.Все, что я хочу, это команда COPY, чтобы отфильтровать дублирующиеся элементы и продолжить загрузку данных.Но в моем случае, когда копия встречает повторяющуюся запись, она прерывает загрузку.Любые лиды о том, как действовать?

Спасибо

Ганеш.Р

1 Ответ

1 голос
/ 04 августа 2011

COPY не работает так.

Первое, что я попробую, это системная сортировка.

sort -u old_filename > new_filename

Аргумент '-u' указывает sort выводить только уникальные строки.

...