Может ли Query.jl в Julia создавать строки из массивов разного размера?

Question

Мне интересно, как использовать Query.jl для извлечения значений из массива в кадре данных и преобразования их в отдельные строки.

Справочная информация: я использовал TextAnalysis.jl для токенизации некоторого текста и хотел бы иметь фрейм данных с одной строкой на каждый токен для последующей обработки. @map дал мне это далеко, но, несмотря на различные попытки с @mapmany, я не смог найти решение. Может быть, @mapmany здесь неправильный выбор.

example = DataFrame(line = 1:4, text = [["First", "line"], ["Then", "number", "two"], ["And", "numero", "tres"], ["The", "End"]])

Как мне получить такой результат:

line | word
-----------------
1    | First
1    | line
2    | Then
…    | …
3    | tres
4    | The
4    | End

Answer 1

DataFrames.flatten должен делать то, что вы хотите:

julia> using DataFrames

julia> example = DataFrame(line = 1:4, text = [["First", "line"], ["Then", "number", "two"], ["And", "numero", "tres"], ["The", "End"]])
4×2 DataFrame
│ Row │ line  │ text                      │
│     │ Int64 │ Array{String,1}           │
├─────┼───────┼───────────────────────────┤
│ 1   │ 1     │ ["First", "line"]         │
│ 2   │ 2     │ ["Then", "number", "two"] │
│ 3   │ 3     │ ["And", "numero", "tres"] │
│ 4   │ 4     │ ["The", "End"]            │

julia> flatten(example, :text)
10×2 DataFrame
│ Row │ line  │ text   │
│     │ Int64 │ String │
├─────┼───────┼────────┤
│ 1   │ 1     │ First  │
│ 2   │ 1     │ line   │
│ 3   │ 2     │ Then   │
│ 4   │ 2     │ number │
│ 5   │ 2     │ two    │
│ 6   │ 3     │ And    │
│ 7   │ 3     │ numero │
│ 8   │ 3     │ tres   │
│ 9   │ 4     │ The    │
│ 10  │ 4     │ End    │

Answer 2

Вы можете вручную отобразить это, используя повтор и некоторые манипуляции с массивами

lines = [...]
flat_lines = vcat(lines...)
line_no = repeat(1:4, inner=2)
df = DataFrame(line=line_no, word=flat_lines)