Чтобы обеспечить числовое упорядочение, приведите значение к целому числу.Самый простой способ сделать это - поместить его в контекст числового выражения.
Затем, чтобы разрешить связи, упорядочить по исходному строковому значению.
SELECT klass,id FROM klassid WHERE klass!=''
ORDER BY klass+0 ASC, klass ASC