Нет, нет веских причин ограничивать расширение до 3 символов. Однако более короткое описательное имя лучше, если пользователь должен его запомнить. Например, большинство людей знают, что будет содержать файл .html или .doc.
Пока вы делаете разумную попытку избежать коллизий имен с основным программным обеспечением, проблем быть не должно. Следствием этого является тот факт, что если вы не создадите какое-то безумно длинное расширение, которое когда-либо будет уникальным только для вашего программного обеспечения (и даже тогда, это не гарантировано), то выбранное вами расширение будет всегда подчиняться имени столкновение с программным обеспечением других людей, когда они выбирают расширение файла своей программы, как вы делаете здесь.