Скорее всего, из соображений совместимости - 32-разрядная версия Ubuntu скомпилирована для совместимости с процессором i386 (ну, может быть, не таким старым в наше время), который не поддерживает sysenter (он появился только в Pentium 2 AFAIK). Очевидно, использование sysenter против int 80h действительно полезно только на некоторых типах процессоров:
http://articles.manugarg.com/systemcallinlinux2_6.html
Поэтому, если в общем случае нет значительного прироста скорости и более широкой совместимости, использование int 80h над sysenter все еще имеет смысл даже сегодня. Если вы используете 64-битную версию Ubuntu, то sysenter / sysexit используются повсеместно.
Редактировать: на самом деле используемый механизм системных вызовов определяется ядром во время загрузки, а не glibc. Эта страница (раздел 4.6) объясняет, как это работает очень хорошо. В вашем случае, случается, что аппаратное обеспечение, эмулируемое VMware, ядро считает более эффективным, используя int 80h, а не sysenter. Вам нужно будет отладить ядро, чтобы выяснить, как оно принимает это решение.