Если вы хотите остановиться после выполнения текущей итерации (но итерации до выполнения текущей БУДУЩЕЙ - то есть итерации с более низким индексом = i)
Parallel.For(0, 100, (i, s) =>
{
s.Break();
});
или если вы хотитеостановка после текущего и последующие события (с точки зрения индекса = i) также должны остановить
Parallel.For(0, 100, (i, s) =>
{
s.Stop();
});
, но в ОБАХ случаях рекомендуется проверить, следует ли прервать работу, если итерация может занятьнекоторое время
s.ShouldExitCurrentIteration
подробнее здесь Parallel.For Метод (Int32, Int32, Action (Int32, ParallelLoopState))