РЕШИТЬ:
Я знаю, что это не самое элегантное решение, но оно работает для меня.
Перед открытием всплывающего окна я вставляю "span" с определенным идентификатором, например:
var sel = tinyMCE.activeEditor.selection;
sel.setContent('<span id="_math_marker"> </span>');
Затем, когда всплывающее окно закрывается и текст отправляется обратно в редактор, я ищу диапазон с маркером, затем выбираю его и вызываю setContent
:
var ed = tinyMCE.activeEditor;
var marker = ed.dom.get('_math_marker');
ed.selection.select(marker, false);
ed.selection.setContent("TEXT TO INSERT");
Это работает для всех браузеров! Не забудьте удалить промежуток, если всплывающее окно закрыто, не вставляя ничего, чтобы не оставить мусор в редакторе.
: -)