«Тривиальный случай» - это случай, который простой ограниченный алгоритм все еще может решить. Например, случай, когда вам нужно отсортировать список чисел, но они уже отсортированы.
«Базовый случай» обычно используется в отношении рекурсии и относится к случаю, который обрабатывается напрямую, без какой-либо дальнейшей рекурсии. Например, быстрая сортировка одного элемента. (Базовые случаи обычно тоже тривиальны.)
«Крайний случай» - это случай, который в некотором роде необычен, который неправильно обрабатывается логикой, которая работает в большинстве случаев или которая приводит к особенно низкой производительности или результатам. Например, быстрая сортировка массива со всеми равными элементами делает невозможным выбор эффективного центра.