В C:
FILE* f = fopen("file.txt", "r+b");
fputs("P5", f);
fclose(f);
Это будет одна и та же процедура (open-as-binary / write / close) практически на любом языке.
Самое главное: Сначала сделайте резервную копию всего.
РЕДАКТИРОВАТЬ: Я удалил fseek, потому что волшебная строка находится в начале файла, где fopen(..., "r+b")
позиционирует указатель файла.