Поддержка HTML в Swing в основном в лучшем случае и поддерживает только HTML3.2. Так что вполне возможно, что вы хотите сделать, не поддерживается.
, который содержит два DIV, которые я пытаюсь
показать бок о бок (используя CSS float).
Если вы контролируете HTML, попробуйте отобразить два отдельных JTextPanes рядом, каждый из которых содержит отдельный HTML. Обе текстовые панели могут быть добавлены на панель, а панель добавлена на область прокрутки, поэтому они прокручиваются синхронно.