Ваша проблема в том, что \bowtie
не математический оператор, такой как \int
, \sum
и т. Д.
Попробуйте это в преамбуле:
\usepackage{amsmath}
\DeclareMathOperator*{\btie}{\bowtie}
и это в документе:
\(\btie\limits_{subscript}^{superscript}\)
Надеюсь, это то, что вы ищете.