Целью среды {enumerate}
является алгоритмическая нумерация вещей. Если вы действительно хотите, чтобы числа отображались так, как показано в вашем вопросе, я не могу определить, какой алгоритм вы хотите использовать. Для примера, который вы показываете, я думаю, что самый простой способ - это просто программировать метки самостоятельно, а не пытаться программировать LaTeX для этого. Я бы просто сделал это так:
\begin{itemize}
\item[1.] Item
\begin{itemize}
\item[2. ] Item
\item[3a. ] Item
\item[3b. ] Item
\item[4. ] Item
\end{itemize}
\item [5. ] Item
\end{itemize}
С помощью LaTeX самый быстрый путь к решению часто включает в себя грубую силу: -)