Вы можете использовать следующий вызов API Chrome из фоновой выборки страницы, если открыто всплывающее окно:
var views = chrome.extension.getViews({ type: "popup" });
//views => [] //popup is closed
//views => [DOMWindow] //popup is open
Если оно возвращает пустой массив, тогда ваше всплывающее окно не открыто, если оно возвращает массивс вашим всплывающим объектом DOMWindow, то ваше всплывающее окно открыто.
Если у вас есть несколько всплывающих окон в одном плагине, вы можете проверить наличие какой-либо глобальной переменной в возвращенном DOMWindow для устранения неоднозначности.