Вы смотрели на вспомогательную функцию Polymer.mixinBehaviors()
?Поведения заменены миксинами, начиная с Polymer 2, и, насколько я могу судить, версия 3 не вносит никаких изменений в этом отношении.
Вот как вы должны использовать iron-overlay-behavior
в элементе Polymer 3:
import {PolymerElement} from '@polymer/polymer';
import {IronOverlayBehavior} from '@polymer/iron-overlay-behavior';
import {mixinBehaviors} from '@polymer/polymer/lib/legacy/class.js';
class MyOverlay extends
mixinBehaviors([IronOverlayBehavior], PolymerElement) {
...
}