Содержимое файла определяется не функцией открытия файла, а фактическими данными, которые вы пишете. После того, как вы получите дескриптор файла (по fopen или CreateFile), вы можете писать в UTF-8, или ANSI, или как вам угодно.
Обратите внимание, что для некоторых кодировок требуется специальный бит в начале файла.