Итак, я использую шаг ввода текстового файла в Pentaho Data Integration для загрузки строк в мою базу данных.Мне нужно создать уникальный идентификатор для каждой строки, чтобы потом можно было идентифицировать дубликаты в моем преобразовании.Я пытался создать идентификатор, объединяя 3 столбца в один, но некоторые строки всегда будут одинаковыми из-за того, как создается файл.У меня есть «настоящие» дубликаты, так что было трудно заставить их идентифицировать отдельно.Есть ли другой способ идентифицировать каждую строку, чтобы я мог сделать ее своим Первичным ключом и избежать дубликатов?
Спасибо!