Он анализирует html и предоставляет теги (а также их данные и атрибуты), используя интерфейс стиля слушателя, похожий на SAX для XML. Хотя я полагаю, что существует довольно много разных реализаций классов, называемых HTMLTokenize.
Вывод стиля слушателя работает, вызывая методы в слушателе, когда анализатор встречает определенные элементы, например, у вас может быть метод startTag (...) в слушателе, и всякий раз, когда анализатор встречает начало нового тега, он вызовет этот метод и передаст данные для найденного тега. Аналогичным образом, когда встречается конец тега, он вызывает вызывающий метод endTag (). Слушатель должен точно следить за тем, что и где происходит, поэтому часто простой синтаксический анализатор дерева DOM проще в использовании.
Если вы можете указать специфику режима, откуда происходит этот класс, более подробную информацию можно получить в ответе.
Кроме того, я не знаю ни о каких библиотеках классов C #, которые имеют этот класс, только Java ??