Преобразуйте X и Y в 23 и 24 для числовой сортировки, а затем обратно после сортировки.
cat file | sed 's/chr/chr /' | sed 's/ X/ 23/' | sed 's/ Y/ 24/' | sort -k 2,2n -k 5,5n -k 3,3n | sed 's/chr 23/chrX/' | sed 's/chr 24/chrY/' | sed 's/chr /chr/'
Это длинная строка seds, но они выполняются быстро.