Я разрабатываю приложение для Kindle Fire, которое извлекает файл .xlsx из Dropbox и использует Apache POI для анализа данных в базе данных SQLite (одна таблица с 10 свойствами - я разбью ее на несколько таблиц один разЯ могу получить разбор работает).Размер файла составляет чуть более 2 МБ (~ 28 000 строк по 10 столбцов в каждой), поэтому, когда я впервые начал тестирование на физическом устройстве (эмулятор работал нормально, но очень медленно), я столкнулся с OutOfMemoryErrors.Я много копал и обнаружил, что могу реализовать SAX, чтобы уменьшить объем используемой памяти.Тем не менее, я не совсем уверен, как получить все данные в моей таблице - на основе примера кода, который я посмотрел, каждая ячейка (по крайней мере, из того, что я могу сказать) оценивается индивидуально, поэтому я не могу сделатьодин запрос на итерацию строки.Другая проблема, с которой я сталкиваюсь, это то, что у меня есть столбец чисел (цены), который выводится на консоль (через Debug.print ()) дважды, и я не могу понять, почему.Я почти сошел с ума с этим - я потратил несколько дней на исправление различных проблем с Dropbox и POI, но это меня поставило в тупик.Пока я использую эти три в качестве шаблонов / руководств (в основном, последних):
http://www.saxproject.org/quickstart.html
https://github.com/apache/poi/blob/230453d76e6e912dfa22088544488a0a6baf83a2/src/ooxml/java/org/apache/poi/xssf/eventusermodel/XSSFSheetXMLHandler.java
https://dzone.com/articles/introduction-to-apache-poi-library
И я рассмотрел эти (среди нескольких других):
Как прочитать файл XLSX размером> 40 МБ
http://svn.apache.org/repos/asf/poi/trunk/src/examples/src/org/apache/poi/xssf/eventusermodel/examples/FromHowTo.java
http://poi.apache.org/components/spreadsheet/how-to.html#xssf_sax_api
Чтение листа Excel с использованием POSS XSSF и SAX (Event API)
https://svn.apache.org/repos/asf/poi/trunk/src/examples/src/org/apache/poi/xssf/eventusermodel/XLSX2CSV.java
Это довольно простое приложение, поэтомуМне не нужно ничего особенного - просто нужно бежать в этот момент.Поэтому я думаю, что мои вопросы таковы: SAX - лучший путь для меня, чтобы избежать проблем с памятью?Если так, как я могу реализовать это для точного анализа каждой строки в моей базе данных?Если нет, то в каком направлении мне двигаться?Вот что у меня есть для моего класса синтаксического анализа (для тестирования используются runningTime и isParsing):
import android.content.Context;
import java.io.File;
import java.io.IOException;
import java.io.InputStream;
import java.util.Iterator;
import org.apache.poi.openxml4j.exceptions.OpenXML4JException;
import org.apache.poi.openxml4j.opc.OPCPackage;
import org.apache.poi.xssf.eventusermodel.XSSFReader;
import org.apache.poi.xssf.model.SharedStringsTable;
import org.apache.poi.xssf.usermodel.XSSFRichTextString;
import org.xml.sax.Attributes;
import org.xml.sax.ContentHandler;
import org.xml.sax.InputSource;
import org.xml.sax.SAXException;
import org.xml.sax.XMLReader;
import org.xml.sax.helpers.DefaultHandler;
import org.xml.sax.helpers.XMLReaderFactory;
public class ExcelParser {
public static boolean isParsing = false;
private DBHelper dbHelper;
private File dropboxFile;
// purpose: parameterized constructor
// parameters: FileInputStream inputStream
// returns: nothing
public ExcelParser(Context context, File dropboxFile) {
this.dropboxFile = dropboxFile;
dbHelper = new DBHelper(context);
}// end ExcelParser(FileInputStream inputStream)
// purpose: parses the inputStream (.xlsx) into a list of Product objects
// parameters: none
// returns: void
public void parseToDB() {
Long runningTime = System.currentTimeMillis();
isParsing = true;
Debug.print(this.getClass().getSimpleName(), "----- STARTING -----");
try {
OPCPackage pkg = OPCPackage.open(dropboxFile);
XSSFReader xssfReader = new XSSFReader(pkg);
SharedStringsTable sharedStringsTable = xssfReader.getSharedStringsTable();
XMLReader parser = getSheetParser(sharedStringsTable);
Iterator<InputStream> sheets = xssfReader.getSheetsData();
Debug.print(this.getClass().getSimpleName(), "sheet processing");
while(sheets.hasNext()) {
Debug.print(this.getClass().getSimpleName(), "Processing sheet");
InputStream sheet = sheets.next();
InputSource sheetSource = new InputSource(sheet);
parser.parse(sheetSource);
sheet.close();
Debug.print(this.getClass().getSimpleName(), "Done processing sheet");
}// end while-loop
} catch (SAXException | OpenXML4JException | IOException e) {
e.printStackTrace();
} finally {
isParsing = false;
Debug.print(this.getClass().getSimpleName(), "----- FINISHED : " + ((System.currentTimeMillis() - runningTime) / 1000) + " seconds -----");
}// end try-catch
}// end parseToDB()
//
public XMLReader getSheetParser(SharedStringsTable sharedStringsTable) throws SAXException {
XMLReader parser = XMLReaderFactory.createXMLReader();
ContentHandler handler = new SheetHandler(sharedStringsTable);
parser.setContentHandler(handler);
return parser;
}// end getSheetParser(SharedStringsTable sharedStringsTable)
// SHEET HANDLER CLASS
private static class SheetHandler extends DefaultHandler {
private SharedStringsTable sharedStringsTable;
private boolean fromSST, isCellValue, isNumber;
private String contents;
//
private SheetHandler(SharedStringsTable sharedStringsTable) {
this.sharedStringsTable = sharedStringsTable;
}// end SheetHandler(SharedStringsTable sharedStringsTable)
@Override
public void startElement(String uri, String localName, String name, Attributes attributes) throws SAXException {
// clear contents cache
contents = "";
// element row represents Row
if(name.equals("row")) {
String rowNumStr = attributes.getValue("r");
Debug.print(this.getClass().getSimpleName(), "Row# " + rowNumStr);
}
// element c represents Cell
else if(name.equals("c")) {
// attribute r represents the cell reference
Debug.print(this.getClass().getSimpleName(), attributes.getValue("r") + " - ");
// attribute t represents the cell type
String cellType = attributes.getValue("t");
if (cellType != null && cellType.equals("s")) {
// cell type s means value will be extracted from SharedStringsTable
fromSST = true;
} else if(cellType == null) {
// *likely a number
isNumber = true;
}
}
// element v represents value of Cell
else if(name.equals("v")) {
isCellValue = true;
}
}// end startElement(String uri, String localName, String name, Attributes attributes)
@Override
public void characters(char[] ch, int start, int length) {
if(isCellValue)
contents += new String(ch, start, length);
}// end characters(char[] ch, int start, int length)
@Override
public void endElement(String uri, String localName, String name) throws SAXException {
if(isCellValue) {
if(fromSST) {
int index = Integer.parseInt(contents);
contents = new XSSFRichTextString(sharedStringsTable.getEntryAt(index)).toString();
Debug.print(this.getClass().getSimpleName(), "Contents: " + contents + " >>");
isCellValue = false;
fromSST = false;
} else if(isNumber) {
Debug.print(this.getClass().getSimpleName(), "Contents (num?): " + contents + " >>");
}
}
}// end endElement(String uri, String localName, String name)
}// end class SheetHandler
}// end class ExcelParser