Действительно ли необходимо, чтобы все элементы в вашем макете относились друг к другу?Конечно, это не так из всех свойств, которые вы устанавливаете для каждого элемента.
Я бы порекомендовал попробовать что-то вроде LinearLayout, а затем, если критично, что определенный элемент является Относительным к другому элементу, используйте RelativeLayout.внутри LinearLayout для этих конкретных предметов.