Во-первых, максимальный размер файла - это ограничение файловой системы, а не ограничение операционной системы. Это даже будет варьироваться для конкретной файловой системы, в зависимости от того, как была отформатирована файловая система.
Что касается того, как вы узнаете, что достигли предела, ваш код, скорее всего, выдаст исключение, когда это произойдет, и вы сможете вернуться к кодам ошибок ОС.
Обратите внимание, что фактический предел составляет чертовски большой для "типичной" файловой системы EXT2 - в терабайтах. Скорее всего, вы никогда не достигнете этого на практике. Если вы серьезно накапливаете терабайты данных, возможно, вы захотите подумать, есть ли более разумный способ их хранения, чем один гигантский файл.