Если под «потоком» вы подразумеваете неограниченность в пространстве и времени, а под «огромным» вы подразумеваете multi GB +, то никакой MLCP не является правильным выбором или недостаточен.MLCP - это «командная» программа командной строки, вам нужно, чтобы все ваши данные уже были сохранены локально, прежде чем запускать ее, в этом смысле она не «потоковая».
В любом случае вам необходимо разделить данные перед отправкой в MarkLogic - в идеале куски (документы) <100 МБ (не магическое число, просто хорошая верхняя граница).Таким образом, ваш потоковый код должен читать данные, буферизовать их, разбивать на «куски», а затем отправлять в ML.Однажды в «чанках» будет работать любой API для ML, включая MLCP.Между различными API есть компромиссы между производительностью и удобством использования - я оставлю это для другого обсуждения. </p>