Мне нужно встроить общий прием файлов в Hive.Файлы очень большие (2 ГБ +), могут быть исправлены или разделены запятыми, файлы ASCII или EBCDIC.Попробовав различные техники с использованием Talend, я смотрю в SERDE.Если я принимаю файлы как есть и использую файл схемы (содержащий порядковый номер, имя столбца, тип, длину), могу ли я создать пользовательский SERDE для десериализации любого входного файла в строки куста?Насколько быстрым это будет?