_NET_WM_WINDOW_OPACITY работает, когда менеджер композитинга применяет прозрачность, когда он создает окно.Вам нужно будет запустить менеджер композитинга, который делает это.(Тем не менее, даже если у вас нет CM, который будет использовать это свойство, вы не должны получать BadRequest; вероятно, BadRequest вызван ошибкой в работе XChangeProperty, например, недопустимым окном, атомом или форматом)
Еще одна вещь, которую вы можете попытаться сделать, это просто создать свое окно с ARGB-визуалом, а затем нарисовать альфа-канал в самом окне.Как это сделать, зависит от того, какой инструментарий вы используете, и т. Д. И это возможно только в том случае, если ваш X-сервер имеет визуальный формат ARGB, я не знаю, есть ли у Mac.