Зависит от ваших требований. Если он должен быть удобочитаемым, тогда YAML, XML и CVS хороши.
Но если вам нужна производительность или хранение двоичных значений (скажем, 8-байтовых двойных), то лично я создаю свой собственный формат файла, используя отличные Java DataOutputStream и DataInputStream. Но будьте осторожны при создании собственного формата. Как правило, вы не хотите делиться этим с миром, иначе вам придется заботиться о безопасности и расширяемости. Вам всегда нужно заботиться о целостности данных и, возможно, добавить некоторые контрольные суммы crc.
Трудно получить правильные двоичные плоские файлы, поэтому убедитесь, что они вам действительно нужны, и обратитесь за помощью!