Измените текстовое представление android:layout_weight="4"
на android:layout_weight="1"
и удалите android:layout_weight="1"
из кнопки
Измените свой код в соответствии с этим
<?xml version="1.0" encoding="utf-8"?>
<RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android"
android:layout_width="match_parent"
android:layout_height="wrap_content"
android:gravity="center"
android:background="@android:color/white"
android:orientation="horizontal">
<TextView
android:id="@+id/tituloTarea"
android:layout_width="match_parent"
android:layout_height="wrap_content"
android:layout_centerVertical="true"
android:layout_toLeftOf="@id/btnEliminarTarea"
android:padding="8dp"
android:textSize="30sp" />
<Button
android:id="@+id/btnEliminarTarea"
android:layout_width="80dp"
android:layout_height="80dp"
android:layout_alignParentRight="true"
android:background="@mipmap/ic_launcher"
android:focusable="false"
android:focusableInTouchMode="false"
android:scaleX="0.5"
android:scaleY="0.5" />
</RelativeLayout>