Используйте вот так: если ImageButton является единственным виджетом на панели инструментов, вам не нужно устанавливать поле, оно будет автоматически размещено слева
<android.support.v7.widget.Toolbar
android:id="@+id/toolbar"
android:layout_width="match_parent"
android:layout_height="?actionBarSize"
android:layout_alignParentTop="true"
android:background="@color/colorPrimary"
android:gravity="top"
app:titleTextColor="@color/white">
<ImageView
android:id="@+id/iv_add"
android:layout_width="wrap_content"
android:layout_height="wrap_content"
android:layout_gravity="right"
android:background="?attr/selectableItemBackgroundBorderless"
android:clickable="true"
android:contentDescription="TODO"
android:focusable="true"
android:padding="20dp"
android:src="@mipmap/add"
android:visibility="visible" />
</android.support.v7.widget.Toolbar>