"StringTokenizer - это устаревший класс, который сохраняется из соображений совместимости, хотя его использование не рекомендуется в новом коде. Рекомендуется всем, кто ищет эту функцию, использовать вместо этого метод split String или пакет java.util.regex."
Вот что говорит док Sun.
String[] result = "this is a test".split("\\s");
Рекомендованный способ токенизации String.