Вы можете использовать tinyMCE.activeEditor.selection.getNode();
. Если это элемент таблицы, вы получили свою таблицу и сможете получить html, используя
var node = tinyMCE.activeEditor.selection.getNode();
var html = node.innerHTML;
// now you will only need to take care of the surrounding table element
// something like "<table>"+ html +"</table>"; maybe having a look at node.attributes