В settings.json
добавьте следующую настройку:
"files.associations": {
"**/components/*.js": "javascriptreact"
}
Просто измените путь, в котором находятся файлы React.
Редактировать : Вы должны сделать этов настройках рабочего пространства, если вы хотите, чтобы это было ограничено конкретным проектом.