В частности, мне нужна платформа с открытым исходным кодом, которая поддерживает мою модель для работы с терабайтами данных
Я изучаю различные платформы с открытым исходным кодом для поддержки моих пользовательских моделей ML, которые просто принимают входные данные и генерируют выходные данные.
Я наткнулся на rdd.pipe Спарка (my_model). Но похоже, что он не подходит для построения конвейеров с опциями планирования.
Поиск рекомендаций для любого инструмента / технологии с открытым исходным кодом