Я нашел официальную документацию , копая 1 мм в коде tiny_mce_popup.js. По сути, все, что вам нужно сделать, это в init () файла editor_plugin.js, добавить popup_css в качестве опции и установить в false:
ed.windowManager.open({
...
file : url + '/dialog.htm',
width : 640 + parseInt(ed.getLang('attachment_fu.delta_width', 0)),
height : 485 + parseInt(ed.getLang('attachment_fu.delta_height', 0)),
popup_css : false,
...
})