Эффективно извлекать имена рабочих листов из электронной таблицы .xlsx

Question

Я конвертирую набор из ~ 200 .xlsx файлов, каждый с несколькими листами, в .csv.in2csv позволяет извлечь отдельный лист с помощью переключателя -s, но сначала мне нужно получить имена всех рабочих листов в электронной таблице .xlsx из командной строки.

Я пробовал Python's xlrdпакет, но это занимает минуты для одного файла> 100 МБ, потому что это требует загрузки всей книги для чтения оболочек листа.

Мне известно о gnumeric ssconvert (переключатель -S делает свое дело) но лучше не устанавливать пакет размером 600 МБ только для одной функции.

Есть ли способ извлечь имена рабочих таблиц без загрузки всей электронной таблицы / рабочей книги?Если нет, то как я могу отдельно преобразовать каждый лист и вывод в отдельные выходные файлы?

Ниже приведено мое решение: во-первых, скрипт bash для поиска всех неконвертированных файлов, а во-вторых, скрипт python для извлеченияимена рабочих листов.

#!/bin/bash

# Paths
RAW_DATA_DIR_EBS=/mnt/data/shared/raw
CSV_DATA_DIR_EBS=/mnt/data/shared/csv
ETL_CONVERT_DIR=$(pwd)/$(dirname "$0")

function check_conversion {
    # If filesize = 0 bytes, exit with error
    filesize=$(wc -b $1)
    if [ $filesize == 0 ]; then
        echo "ERROR: conversion failed. Empty output file: $1"
        exit 1
    fi;
}

# For each data source directory
for source in $RAW_DATA_DIR_EBS/; do
    dir=$(basename $source)    

    # Create output dir if absent
    mkdir -p $CSV_DATA_DIR_EBS/$dir

    # For each file for that source
    for fin in $RAW_DATA_DIR_EBS/$dir/*.xlsx; do

        # Get sheet names and store in array
        echo "Obtaining worksheet names from $fin"
        sheets=$(python $ETL_CONVERT_DIR/check_sheet_names.py -x $fin | tr -d '[]' | tr -d [:punct:])
        IFS="," read -r -a sheets_array <<< "$sheets"   

        if [ ${#sheets_array[@]} == 1 ]; then

            # Just one sheet
            fout=$CSV_DATA_DIR_EBS/$dir/$(basename "$fin" .xlsx).csv
            if [ ! -e $fout ]; then
                echo "Converting worksheet in $fin ..."
                in2csv -e utf-8 $fin > $fout;
                check_conversion $fout
                gzip $fout
            else
                echo "Spreadsheet $fin already converted:" $fout;
            fi;

        else

            # Multiple sheets
            for sheet in $sheets; do
                fout=$CSV_DATA_DIR_EBS/$dir/$(basename "$fin" .xlsx)__sheet_"${sheet}".csv
                if [ ! -e $fout ]; then
                    echo "Converting worksheet $sheet in $fin ..."
                    in2csv -e utf-8 --sheet $sheet $fin > $fout;
                    check_conversion $fout;
                    gzip $fout
                else
                    echo "Spreadsheet $fin already converted:" $fout
                fi;
            done;
        fi;
    done;

done;
exit 0

#!/usr/bin/env python
''' check_sheet_names.py

Get names of worksheets contained in an .xlsx spreadsheet
'''

import xlrd
import argparse

if __name__ == '__main__':
    parser = argparse.ArgumentParser(description='CLI')
    parser.add_argument('--xlsx', '-x', type=str, required=True)
    args = parser.parse_args()

    xls = xlrd.open_workbook(args.xlsx, on_demand=True)
    print(xls.sheet_names())
    xls.release_resources()
    del xls

Answer 1

Флаг -n предоставит имена различных листов в документе xlsx.

in2csv -n filename.xlsx