Я некоторое время не использовал Java, но я знаю о Iconv, который может генерировать исключение, когда есть недопустимый символ, поэтому вы можете возвращать false, когда исключение поймано, и возвращать true, когда преобразование в UTF-8 прошел без проблем.