Как правило, нет, вы не должны менять его на структуру. То, что он неизменный, не означает, что он автоматически является хорошим кандидатом на то, чтобы быть структурой.
Структура должна быть маленькой. С вашими четырьмя целочисленными значениями это просто рекомендуемый предел в 16 байтов, при котором производительность для структур начинает ухудшаться.
Структура должна представлять отдельную сущность некоторого вида. Возможно, ваш класс делает это, но из вашего описания это не кажется вероятным.
Структуру сложнее правильно реализовать, чем класс. Он должен хорошо относиться к таким вещам, как сравнения, поэтому нужно реализовать больше вещей, чем ожидается от класса.
Если у вас нет действительно веской причины для ее реализации в виде структуры, например, из-за проблем с производительностью, вы должны сохранять свой класс как класс.