Это нормальное поведение; дело в том, что библиотеки Qt не такие маленькие.
Например, если вы разрабатываете приложение QtQuick, у вас есть как минимум QtGui, QtCore, QtQuick зависимостей.
Если размер для вас проблема, есть альтернатива: используйте Ministro. Ministro - это сервис Android, который предоставляет библиотеки Qt, поэтому разные приложения могут совместно использовать основные библиотеки.
См. Использование Ministro для установки библиотек Qt для получения дополнительной информации.