Это зависит от ОС, но обычно ни одна ОС не дает вам гарантий, что ваш поток будет работать на одном и том же ядре все время, если вы не предпримете конкретные шаги, чтобы сделать это так.
Несмотря на некоторые очевидные преимущества сохранения потока, связанного с одним и тем же ядром, нет ничего необычного в том, что он время от времени перераспределяется на другое ядро. Вы можете даже увидеть, как его перебрасывают с ядра на ядро каждый раз, когда он запускается (или почти каждый раз). На самом деле, то, что вы видите в своих тестах, выглядит довольно хорошо в этом отношении.