Попробуйте добавить \left
перед \{
и \rigth.
в конце.
Это должно выглядеть как
$$\alpha_t = \left \{ {{\sqrt{\frac1N},\; t = 0 } \atop {\sqrt{\frac2N},\; t \ne 0 } } \right.$$
или
$$
\left\{\begin{tabular}{l} \textbf{Y} = 0,299\textbf{R} + 0,587\textbf{G} + 0,114\textbf{B} \\ \textbf{Cb} = 128 + 0,5\textbf{R} - 0,418688\textbf{G} - 0,081312\textbf{B} \\ \textbf{Cr} = 128 - 0,168736\textbf{R} - 0,331264\textbf{G} - 0,53\textbf{B} \end{tabular} \right.
$$