Если вы уверены, что разделитель строк файла в том, который используется в этой ОС, вы должны сделать следующее:
s.replaceAll(System.lineSeparator, "")
В другом месте ваше регулярное выражение должно обнаруживать следующие последовательности новой строки: "\ n" (Linux), "\ r" (Mac), "\ r \ n" (Windows):
s.replaceAll("(\r\n)|\r|\n", "")
Второй короче и, думаю, правильнее.