В итоге, после многих часов проблем, в моем плагине отсутствовал .babelrc, из-за чего webpack не знал, как работать с JSX.
Решением было добавить babel-preset-реагироватьна мой плагин package.json и отреагируйте на мой babelrc.
Это работало в каталоге плагинов, как это было обработано конфигурацией babel моего сайта.