Второй (требуемый) пример использует другое семейство математических шрифтов. Они определяют тонкие скобки. Я не эксперт по шрифту, поэтому я не могу сказать вам, какой шрифт использует этот пример.
Я могу сказать вам, я знаю, что шрифт Math-Fourier также использует тонкие скобки. Вот что я использовал для воссоздания вашего второго примера:
\documentclass[english]{article}
\usepackage{fourier} % The Math font
\usepackage[T1]{fontenc}
\usepackage[latin9]{inputenc}
\usepackage{babel}
\begin{document}
\[
F(x)={\scriptstyle \left(\begin{array}{cc}
{\textstyle \frac{x}{2}} & {\displaystyle 0}\\
\vphantom{{\displaystyle W}} % uses some vertical spacing
% between the first and second row
{\displaystyle 0} & {\displaystyle x^{2}}\end{array}\right)}\]
\end{document}