У меня есть файл CSV, имеющий более 700 столбцов. Я просто хочу, чтобы 175 столбцов из них были вставлены в таблицу RDBMS или плоский файл, используя Pentaho (PDI). Теперь исходный CSV-файл имеет переменные столбцы, то есть столбцы могут продолжать добавляться или удаляться, но имеют некоторые конкретные ключевые слова, которые остаются постоянными во всем. У меня есть список ключевых слов, которые присутствуют в именах столбцов, которые должны быть исключены, например, starts_with("avgbal_"), starts_with("emi_"), starts_with("delinq_prin_"), starts_with("total_utilization_"), starts_with("min_overdue_"), starts_with("payment_received_")
Любой столбец, имеющий указанные выше ключевые слова, должен быть исключен и не должен передаваться в мою таблицу RDBMS или плоский файл,Есть ли способ удалить вышеупомянутые столбцы, написав какой-нибудь SQL-запрос в PDI? Выбор конкретных 175 столбцов невозможен, поскольку они имеют переменный характер.