В программе бинарного дерева поиска, когда вы добавляете проверку, является ли дерево справа BST или нет, тогда проверьте, является ли значение справа больше или равно. Например,
bool BST(BinaryTree root){
bool returnValue=false;
if(root!=null){
if(root.left!=null){
if (root.left.data < root.data){
returnValue=BST(root.left);
}
}
if(root.right!=null){
if(root.right.data >= root.data){
returnValue=BST(root.right);
}
}
return returnValue;
}
}