Попробуйте использовать следующий код: он получит объект документа как String, а затем проанализирует его, чтобы проверить, является ли он объектом JSON или массивом JSON.
// IMPORTS USED
// import org.json.*;
Document doc = // YOUR DOCUMENT OBJECT;
DOMSource domSource = new DOMSource(doc);
StringWriter writer = new StringWriter();
StreamResult result = new StreamResult(writer);
TransformerFactory tf = TransformerFactory.newInstance();
Transformer transformer = tf.newTransformer();
transformer.transform(domSource, result);
try {
new JSONObject(writer.toString());
// IS JSON OBJECT
} catch(JSONException ex) {
// NOT JSON OBJECT
try {
new JSONArray(writer.toString());
// IS JSON ARRAY
} catch(JSONException ex1) {
// NOT JSON ARRAY
}
}