pandas запись данных в to_ json альтернативный метод

Question

Я обрабатываю фрейм данных с примерно 4 миллионами строк и 50 столбцами каждый час, используя это:

    #Write out the file
    try:
        display('Writing {0} '.format(filename))
        df_full.to_json('{0}{1}'.format(output_path,filename),orient='records',lines=True )
    except Exception as e :
        logging.error("Error could not write file", exc_info=True)
        print("Error could not write file")

Я сделал это из-за простоты, но это так медленно. Это не похоже на шею IO bottle, но я должен записать в json, поскольку это подается в другую систему для захвата / приема. Что может быть более быстрым альтернативным методом?