просмотров в Android связаны друг с другом, не только в RelativeLayout, но и в других, поэтому вы должны выбрать лучший способ описать макет вашего приложения, используя более одного обычно используемого
чтобы изменить положение метки, вам лучше использовать AbsoluteLayout, чем использовать android: layout_x = "", android: layout_y = ""