Что-то вроде этого работает для вашего ввода:
String text = "There's \"a man\" that live next door "
+ "'in my neighborhood', \"and he gets me down...\"";
Scanner sc = new Scanner(text);
Pattern pattern = Pattern.compile(
"\"[^\"]*\"" +
"|'[^']*'" +
"|[A-Za-z']+"
);
String token;
while ((token = sc.findInLine(pattern)) != null) {
System.out.println("[" + token + "]");
}
Приведенные выше отпечатки ( как видно на ideone.com ):
[There's]
["a man"]
[that]
[live]
[next]
[door]
['in my neighborhood']
["and he gets me down..."]
Используется Scanner.findInLine
, где шаблон регулярного выражения является одним из:
"[^"]*" # double quoted token
'[^']*' # single quoted token
[A-Za-z']+ # everything else
Без сомнения, это не всегда работает на 100%;случаи, когда кавычки могут быть вложенными и т. д., будут хитрыми.
Ссылки