Как определить структуру диаграммы Санки, используя фрейм данных? - PullRequest
7 голосов
/ 22 марта 2019

Это может звучать как очень широкий вопрос, но если вы позволите мне описать некоторые детали, я могу заверить вас, что очень специфично .А также обескураживающий, разочаровывающий и вызывающий ярость.


Следующий график описывает шотландские выборы и основан на коде из plot.ly :

Участок 1:

enter image description here

Набор данных 1:

data = [['Source','Target','Value','Color','Node, Label','Link Color'],
        [0,5,20,'#F27420','Remain+No – 28','rgba(253, 227, 212, 0.5)'],
        [0,6,3,'#4994CE','Leave+No – 16','rgba(242, 116, 32, 1)'],
        [0,7,5,'#FABC13','Remain+Yes – 21','rgba(253, 227, 212, 0.5)'],
        [1,5,14,'#7FC241','Leave+Yes – 14','rgba(219, 233, 246, 0.5)'],
        [1,6,1,'#D3D3D3','Didn’t vote in at least one referendum – 21','rgba(73, 148, 206, 1)'],
        [1,7,1,'#8A5988','46 – No','rgba(219, 233, 246,0.5)'],
        [2,5,3,'#449E9E','39 – Yes','rgba(250, 188, 19, 1)'],
        [2,6,17,'#D3D3D3','14 – Don’t know / would not vote','rgba(250, 188, 19, 0.5)'],
        [2,7,2,'','','rgba(250, 188, 19, 0.5)'],
        [3,5,3,'','','rgba(127, 194, 65, 1)'],
        [3,6,9,'','','rgba(127, 194, 65, 0.5)'],
        [3,7,2,'','','rgba(127, 194, 65, 0.5)'],
        [4,5,5,'','','rgba(211, 211, 211, 0.5)'],
        [4,6,9,'','','rgba(211, 211, 211, 0.5)'],
        [4,7,8,'','','rgba(211, 211, 211, 0.5)']
        ]

Как строится сюжет:

Я подобрал некоторые важные детали о поведении диаграмм Санки из различных источников, например:

Задача:

Как вы увидите в деталях ниже, узлы, метки и цвета не применяются к диаграмме в том же порядке, в котором структурирован исходный фрейм данных. Некоторые из них создают идеальный смысл, поскольку у вас есть различные элементы, которые описывают один и тот же узел, такие как цвет, цели, значения и цвет ссылки.Один узел 'Remain+No – 28' выглядит следующим образом:

enter image description here

И сопровождающая часть набора данных выглядит следующим образом:

[0,5,20,'#F27420','Remain+No – 28','rgba(253, 227, 212, 0.5)'],
[0,6,3,'#4994CE','Leave+No – 16','rgba(242, 116, 32, 1)'],
[0,7,5,'#FABC13','Remain+Yes – 21','rgba(253, 227, 212, 0.5)'],

Таким образом, эта часть источника описывает узел [0] с тремя соответствующими целями [5, 6, 7] и тремя ссылками со значениями [20, 3, 5].'#F27420' - оранжевый (ish) цвет узла, а цвета 'rgba(253, 227, 212, 0.5)', 'rgba(242, 116, 32, 1)' и 'rgba(253, 227, 212, 0.5)' описывают цвета ссылок от узла к некоторым целям.До сих пор информация, которая не использовалась в приведенном выше примере:

Образец данных 2 (частичный)

[-,-,--'-------','---------------','-------------------'],
[-,-,-,'#4994CE','Leave+No – 16','-------------------'],
[-,-,-,'#FABC13','Remain+Yes – 21','-------------------'],

И эта информация используется в качествеОстальные элементы диаграммы вводятся.

Итак, в чем вопрос?В дальнейших деталях ниже вы увидите, что все имеет смысл, пока новая строка данных в наборе данных вставляет новую ссылку и вносит другие изменения в другие элементы (цвета, метки), если эта информация еще не использовалась,Я буду еще более конкретным с использованием двух снимков экрана из настройки, которую я сделал с графиком слева и кодом справа:

В следующем примере данных приведена диаграмма ниже, следуя логике, описанной выше:

Образец данных 3

data = [['Source','Target','Value','Color','Node, Label','Link Color'],
        [0,5,20,'#F27420','Remain+No – 28','rgba(253, 227, 212, 0.5)'],
        [0,6,3,'#4994CE','Leave+No – 16','rgba(242, 116, 32, 1)'],
        [0,7,5,'#FABC13','Remain+Yes – 21','rgba(253, 227, 212, 0.5)'],
        [1,5,14,'#7FC241','Leave+Yes – 14','rgba(219, 233, 246, 0.5)'],
        [1,6,1,'#D3D3D3','Didn’t vote in at least one referendum – 21','rgba(73, 148, 206, 1)']]

Снимок экрана 1 - Частичный график с образцом данных 3

enter image description here

ВОПРОС:

Добавление строки [1,7,1,'#8A5988','46 – No','rgba(219, 233, 246,0.5)'] в набор данных создает новую связь между источником [5]и цель [7], но применяет цвет и метку к цели 5 одновременно.Я думаю, что следующая метка, которая будет применена к графику, была 'Remain+Yes – 21', так как она не использовалась.Но что здесь происходит, так это то, что метка '46 – No' применяется к цели 5. ПОЧЕМУ?

Снимок экрана 2 - Частичный график с образцом данных 3 + [1,7,1,'#8A5988','46 – No','rgba(219, 233, 246,0.5)'] :

enter image description here

И как вы определяете, что является источником и какова цель на основеэтот фрейм данных?

Я знаю, что вопрос странный и на него трудно ответить, но я надеюсь, что у кого-то есть предложение.Я также знаю, что фрейм данных может быть не лучшим источником для диаграммы Санки.Возможно, вместо json?


Полный код и образец данных для легкого копирования и вставки для ноутбука Jupyter:


import pandas as pd
import numpy as np
import plotly.graph_objs as go
from plotly.offline import download_plotlyjs, init_notebook_mode, plot, iplot
init_notebook_mode(connected=True)

# Original data
data = [['Source','Target','Value','Color','Node, Label','Link Color'],
    [0,5,20,'#F27420','Remain+No – 28','rgba(253, 227, 212, 0.5)'],
    [0,6,3,'#4994CE','Leave+No – 16','rgba(242, 116, 32, 1)'],
    [0,7,5,'#FABC13','Remain+Yes – 21','rgba(253, 227, 212, 0.5)'],
    [1,5,14,'#7FC241','Leave+Yes – 14','rgba(219, 233, 246, 0.5)'],
    [1,6,1,'#D3D3D3','Didn’t vote in at least one referendum – 21','rgba(73, 148, 206, 1)'],
    [1,7,1,'#8A5988','46 – No','rgba(219, 233, 246,0.5)'],
    [2,5,3,'#449E9E','39 – Yes','rgba(250, 188, 19, 1)'],
    [2,6,17,'#D3D3D3','14 – Don’t know / would not vote','rgba(250, 188, 19, 0.5)'],
    [2,7,2,'','','rgba(250, 188, 19, 0.5)'],
    [3,5,3,'','','rgba(127, 194, 65, 1)'],
    [3,6,9,'','','rgba(127, 194, 65, 0.5)'],
    [3,7,2,'','','rgba(127, 194, 65, 0.5)'],
    [4,5,5,'','','rgba(211, 211, 211, 0.5)'],
    [4,6,9,'','','rgba(211, 211, 211, 0.5)'],
    [4,7,8,'','','rgba(211, 211, 211, 0.5)']
    ]



headers = data.pop(0)
df = pd.DataFrame(data, columns = headers)
scottish_df = df

data_trace = dict(
    type='sankey',
    domain = dict(
      x =  [0,1],
      y =  [0,1]
    ),
    orientation = "h",
    valueformat = ".0f",
    node = dict(
      pad = 10,
      thickness = 30,
      line = dict(
        color = "black",
        width = 0
      ),
      label =  scottish_df['Node, Label'].dropna(axis=0, how='any'),
      color = scottish_df['Color']
    ),
    link = dict(
      source = scottish_df['Source'].dropna(axis=0, how='any'),
      target = scottish_df['Target'].dropna(axis=0, how='any'),
      value = scottish_df['Value'].dropna(axis=0, how='any'),
      color = scottish_df['Link Color'].dropna(axis=0, how='any'),
  )
)

layout =  dict(
    title = "Scottish Referendum Voters who now want Independence",
    height = 772,
    font = dict(
      size = 10
    ),    
)

fig = dict(data=[data_trace], layout=layout)
iplot(fig, validate=False)

1 Ответ

5 голосов
/ 26 марта 2019

Эта проблема выглядит действительно странно, но только до тех пор, пока вы не проанализируете, как создается график sankey в plotly:

Когда вы создаете график sankey, вы отправляете ему:

  1. Список узлов
  2. Список ссылок

Эти списки связаны друг с другом.Когда вы создаете список узлов длиной 5, любое ребро будет знать о 0,1,2,3,4 в его начале и конце.В вашей программе вы создаете узел неправильно - вы создаете список ссылок, а затем просматриваете его и создаете узлы.Посмотри на свою диаграмму.У него два черных узла с undefined внутри.И какова длина вашего набора данных ... Да, 5.Индексы вашего узла заканчиваются на 4, и никакие целевые узлы на самом деле не определены.Вы добавляете шестой список в свой набор данных и - бинго!- существует nodes[5] существует!Просто попробуйте добавить еще одну новую строку в ваш набор данных:

[1,7,1,'#FF0000','WAKA','rgba(219, 233, 246,0.5)']

И вы увидите, что другая черная полоса окрашена в красный цвет.У вас есть пять узлов (потому что у вас есть 5 ссылок, и вы создаете узел путем итерации для списка ссылок), но целевые индексы ссылок - 5,6,7.Это можно исправить двумя способами:

  1. Изменить Target в вашем наборе данных на 2,3,4
  2. Создать узлы и ссылки отдельно (правильный путь)

Надеюсь, я помог вам в вашей проблеме и в понимании создания сюжета (что важнее ИМО).

Редактировать: Вот примерсоздание отдельных узлов / связей (обратите внимание, что node часть в data_trace использует только nodes_df данные, link часть в data_trace использует только links_df данные и nodes_df и links_df длина не равны):

import pandas as pd
import numpy as np
import plotly.graph_objs as go
from plotly.offline import download_plotlyjs, init_notebook_mode, plot, iplot
init_notebook_mode(connected=True)

nodes = [
    ['ID', 'Label', 'Color'],
    [0,'Remain+No – 28','#F27420'],
    [1,'Leave+No – 16','#4994CE'],
    [2,'Remain+Yes – 21','#FABC13'],
    [3,'Leave+Yes – 14','#7FC241'],
    [4,'Didn’t vote in at least one referendum – 21','#D3D3D3'],
    [5,'46 – No','#8A5988']
]
links = [
    ['Source','Target','Value','Link Color'],
    [0,3,20,'rgba(253, 227, 212, 0.5)'],
    [0,4,3,'rgba(242, 116, 32, 1)'],
    [0,2,5,'rgba(253, 227, 212, 0.5)'],
    [1,5,14,'rgba(219, 233, 246, 0.5)'],
    [1,3,1,'rgba(73, 148, 206, 1)'],
    [1,4,1,'rgba(219, 233, 246,0.5)'],
    [1,2,10,'rgba(8, 233, 246,0.5)'],
    [1,3,5,'rgba(219, 77, 246,0.5)'],
    [1,5,12,'rgba(219, 4, 246,0.5)']
]

nodes_headers = nodes.pop(0)
nodes_df = pd.DataFrame(nodes, columns = nodes_headers)
links_headers = links.pop(0)
links_df = pd.DataFrame(links, columns = links_headers)

data_trace = dict(
    type='sankey',
    domain = dict(
      x =  [0,1],
      y =  [0,1]
    ),
    orientation = "h",
    valueformat = ".0f",
    node = dict(
      pad = 10,
      thickness = 30,
      line = dict(
        color = "black",
        width = 0
      ),
      label =  nodes_df['Label'].dropna(axis=0, how='any'),
      color = nodes_df['Color']
    ),
    link = dict(
      source = links_df['Source'].dropna(axis=0, how='any'),
      target = links_df['Target'].dropna(axis=0, how='any'),
      value = links_df['Value'].dropna(axis=0, how='any'),
      color = links_df['Link Color'].dropna(axis=0, how='any'),
  )
)

layout =  dict(
    title = "Scottish Referendum Voters who now want Independence",
    height = 772,
    font = dict(
      size = 10
    ),    
)

fig = dict(data=[data_trace], layout=layout)
iplot(fig, validate=False)

Edit 2: Давайте углубимся еще глубже :) Узлы и ссылки на диаграммах sankey почти полностью независимы.Единственная информация, которая их ограничивает - индексы в исходных целях в ссылках.Таким образом, мы можем создать много узлов и без ссылок на них (просто замените их узлами / ссылками в коде Edit1):

nodes = [
    ['ID', 'Label', 'Color'],
    [0,'Remain+No – 28','#F27420'],
    [1,'Leave+No – 16','#4994CE'],
    [2,'Remain+Yes – 21','#FABC13'],
    [3,'Leave+Yes – 14','#7FC241'],
    [4,'Didn’t vote in at least one referendum – 21','#D3D3D3'],
    [5,'46 – No','#8A5988'],
    [6,'WAKA1','#8A5988'],
    [7,'WAKA2','#8A5988'],
    [8,'WAKA3','#8A5988'],
    [9,'WAKA4','#8A5988'],
    [10,'WAKA5','#8A5988'],
    [11,'WAKA6','#8A5988'],

]
links = [
    ['Source','Target','Value','Link Color'],
    [0,3,20,'rgba(253, 227, 212, 0.5)'],
    [0,4,3,'rgba(242, 116, 32, 1)'],
    [0,2,5,'rgba(253, 227, 212, 0.5)'],
    [1,5,14,'rgba(219, 233, 246, 0.5)'],
    [1,3,1,'rgba(73, 148, 206, 1)'],
    [1,4,1,'rgba(219, 233, 246,0.5)'],
    [1,2,10,'rgba(8, 233, 246,0.5)'],
    [1,3,5,'rgba(219, 77, 246,0.5)'],
    [1,5,12,'rgba(219, 4, 246,0.5)']
]

И эти узлы не появятся на диаграмме.

Мы можемсоздавать только ссылки без узлов:

nodes = [
    ['ID', 'Label', 'Color'],
]
links = [
    ['Source','Target','Value','Link Color'],
    [0,3,20,'rgba(253, 227, 212, 0.5)'],
    [0,4,3,'rgba(242, 116, 32, 1)'],
    [0,2,5,'rgba(253, 227, 212, 0.5)'],
    [1,5,14,'rgba(219, 233, 246, 0.5)'],
    [1,3,1,'rgba(73, 148, 206, 1)'],
    [1,4,1,'rgba(219, 233, 246,0.5)'],
    [1,2,10,'rgba(8, 233, 246,0.5)'],
    [1,3,5,'rgba(219, 77, 246,0.5)'],
    [1,5,12,'rgba(219, 4, 246,0.5)']
]

И у нас будут только ссылки из ниоткуда в никуда.

Если вы хотите добавить (1) новый источник сДля ссылки необходимо добавить новый список в nodes, рассчитать его индекс (поэтому у меня есть столбец идентификаторов) и добавить новый список в links с Source, равным индексу узла.

Если вы хотите добавить (2) новую цель для существующих узлов - просто добавьте новый список в links и запишите Source и Target правильно:

    [1,100500,10,'rgba(219, 233, 246,0.5)'],
    [1,100501,10,'rgba(8, 233, 246,0.5)'],
    [1,100502,10,'rgba(219, 77, 246,0.5)'],
    [1,100503,10,'rgba(219, 4, 246,0.5)']

(Здесь я создал 4 новых ссылки для 4 новых целей. Источник - это узел с индексом 1 для всех из них).

(3 + 4): Диаграмма Санки не работаетРазличаются источники и цели.Все они просто узлы для Санки.Каждый узел может быть как источником, так и целью.Посмотрите на это:

nodes = [
    ['ID', 'Label', 'Color'],
    [0,'WAKA WANNA BE SOURCE','#F27420'],
    [1,'WAKA WANNA BE TARGET','#4994CE'],
    [2,'WAKA DON\'T KNOW WHO WANNA BE','#FABC13'],

]
links = [
    ['Source','Target','Value','Link Color'],
    [0,1,10,'rgba(253, 227, 212, 1)'],
    [0,2,10,'rgba(242, 116, 32, 1)'],
    [2,1,10,'rgba(253, 227, 212, 1)'],
]

Здесь вы увидите диаграмму Санки с 3 столбцами.Узел 0 является источником, 1 является целью, а узел 2 является источником для 1 и целью для 2 .

...