Я ищу отдельный токенизатор, написанный на C, который может анализировать и разбивать строки на основе предоставленного пользователем разделителя символов, такого как табуляция, точка с запятой, запятые и т. Д. Подобно тому, что делает эта функция библиотеки повышения http://www.boost.org/doc/libs/1_46_1/libs/tokenizer/escaped_list_separator.htm Токены могут быть заключены в двойные кавычки, а разделители могут быть встроены, пустые токены не пропускаются
Вы можете использовать strtok в string.h. Вам, безусловно, придется адаптировать его для управления спецификой. Так как это C, будьте осторожны с завершающими нулем строками.
strtok
string.h