Удалить строку android:layout_weight="1"
с обеих кнопок.
Добавить android:minWidth="50dp"
и android:layout_width="wrap_content"
EDIT:
Вам необходимо рассчитать размеры кнопок вручную в зависимости от размера экрана. Для начала вам нужно установить стандартный размер экрана. Например, если вы разрабатываете приложение на ширине экрана 400 пикселей, а кнопка имеет ширину 100 пикселей, то формула для поддержания одинакового отношения button width to screen width
на всех устройствах будет выглядеть следующим образом
DisplayMetrics metrics = new DisplayMetrics();
getWindowManager().getDefaultDisplay().getMetrics(metrics);
buttonWidth = 100 * (metrics.widthPixels/400);
Вариант использования:
Если ширина экрана = 480px, тогда ширина кнопки должна быть 120px.