Библиотека хорошего текстового токенизатора

Question

Что такое хорошая библиотека с открытым исходным кодом C tokenizer?

Я ищу что-то вроде

Tokenize("there are three apples. One is orange, the other is blue,"
         " and, finally, the last is yellow!")

с выводом, не содержащим знаков препинания.

Answer 1

Если единственной необходимостью является удаление знаков препинания, я бы использовал цикл for, который выводит (что бы это ни значило в вашем контексте) символьную строку источника, пропуская ispunct() единицы.

Answer 2

lex / flex - классический инструмент, но он может быть несколько тяжелым для того, что вы делаете.

Answer 3

Я бы порекомендовал strtok , который доступен в string.h.