Да, это возможно. Вы можете реализовать обходчик дерева, как описано в Java Tutorial . Для каждого найденного файла его содержимое будет прочитано и проверено на наличие искомой строки.
В зависимости от того, какого результата вы хотите достичь, вы можете остановить обход дерева как минимум, как минимум найден один соответствующий файл, или вы можете собрать пути всех соответствующих файлов, или ...