Нормализуйте плоскую структуру данных с ansible - PullRequest
Новая
       21

Нормализуйте плоскую структуру данных с ansible

0 голосов
/ 09 апреля 2019

В настоящее время я пытаюсь нормализовать плоскую структуру данных, полученную из выходных данных терраформы, чтобы можно было лучше обрабатывать информацию при последующих операциях. Там, где я работаю, предпочтение отдается использованию Ansible для этих типов задач, но я открыт для решений, использующих Python, если это существенно упростит задачу. Ниже приведен пример ввода (продезинфицированный) и желаемый вывод этого ввода.

Введите: 

{
  "ebs_block_device.0000000000.device_name": "/dev/xvdc",
  "ebs_block_device.0000000000.volume_id": "vol-00000000000000000",
  "ebs_block_device.0000000000.volume_size": "120",
  "ebs_block_device.0000000000.volume_type": "standard",
  "ebs_block_device.1111111111.device_name": "/dev/xvde",
  "ebs_block_device.1111111111.volume_id": "vol-11111111111111111",
  "ebs_block_device.1111111111.volume_size": "80",
  "ebs_block_device.1111111111.volume_type": "standard",
  "ebs_block_device.2222222222.device_name": "/dev/xvdf",
  "ebs_block_device.2222222222.volume_id": "vol-22222222222222222",
  "ebs_block_device.2222222222.volume_size": "50",
  "ebs_block_device.2222222222.volume_type": "standard",
}

Желаемый вывод: 

{
  "devices": [
    {
      "device_name": "/dev/xvdc",
      "volume_id": "vol-00000000000000000",
      "volume_size": "120",
      "volume_type": "standard"
    },
    {
      "device_name": "/dev/xvde",
      "volume_id": "vol-11111111111111111",
      "volume_size": "80",
      "volume_type": "standard"
    },
    {
      "device_name": "/dev/xvdf",
      "volume_id": "vol-22222222222222222",
      "volume_size": "50",
      "volume_type": "standard",
    }   
  ]  
}

Пока предпринимаются попытки

Используя следующую команду, я могу приблизиться к желаемому выводу, я просто не могу найти правильный фильтр, фильтр json_query или другой трюк для изменения ключей.

Задачи: 

- name: "Get input from file"
  set_fact:
    device_data: "{{ lookup('file', file_path) | from_json | dict2items }}"

- name: "Extract list of volume id numbers created by terraform"
  vars:
    ebs_regex: "ebs_block_device\\.(\\d*)\\.device_name"
  set_fact:
    volume_id_list: 
      "{{ device_data 
      | selectattr('key', 'match', ebs_regex) 
      | map(attribute='key')
      | map('regex_replace', ebs_regex, '\\1')
      | list }}"

# using '| to_json | from_json |' is a known workaround for a common string typing issue in json_query
# For more information see https://github.com/ansible/ansible/issues/27299
- name: "Organize volumes into list"
  vars:
    query_text: "[?contains(key, '{{ item }}')]"
    single_volume: "{{ device_data | to_json | from_json | json_query(query_text) }}"
  set_fact:
    volume_data: "{{ volume_data | default([]) + [single_volume | items2dict] }}"
  loop:
    "{{ volume_id_list }}"

- debug: var=volume_data

Выход: 

ok: [localhost] => {
    "volume_data": [
        {
            "ebs_block_device.2659407853.device_name": "/dev/xvdf"
            "ebs_block_device.2659407853.volume_id": "vol-00000000000000000",
            "ebs_block_device.2659407853.volume_size": "50",
            "ebs_block_device.2659407853.volume_type": "standard"
        },
        {
            "ebs_block_device.2630216116.device_name": "/dev/xvde"
            "ebs_block_device.2630216116.volume_id": "vol-11111111111111111",
            "ebs_block_device.2630216116.volume_size": "80",
            "ebs_block_device.2630216116.volume_type": "standard"
        },
        {
            "ebs_block_device.2554893574.device_name": "/dev/xvdc"
            "ebs_block_device.2554893574.volume_id": "vol-22222222222222222",
            "ebs_block_device.2554893574.volume_size": "120",
            "ebs_block_device.2554893574.volume_type": "standard"
        }
    ]
}

Вопрос

Как я могу изменить значения ключей в моих результатах, до или после построения желаемой структуры данных? Если это невозможно, есть ли другой способ нормализации входных данных в желаемый формат?

1 Ответ

1 голос
/ 09 апреля 2019

Воспроизведение ниже 

tasks:
  - set_fact:
      devices1: "{{ devices1|default([]) + [ item ] }}"
    with_together:
      - "{{ input|dict2items|sort|selectattr('key', 'search', 'device_name')|list }}"
      - "{{ input|dict2items|sort|selectattr('key', 'search', 'volume_id')|list }}"
      - "{{ input|dict2items|sort|selectattr('key', 'search', 'volume_size')|list }}"
      - "{{ input|dict2items|sort|selectattr('key', 'search', 'volume_type')|list }}"
  - include_tasks: loop-devices.yml
    loop: "{{ devices1 }}"
  - debug:
      var: devices2

с включаемым файлом loop-devices.yml 

- set_fact:
    dev: {}
- set_fact:
    dev: "{{ dev|combine({dev_item.key.split('.').2:dev_item.value}) }}"
  loop: "{{ item }}"
  loop_control:
    loop_var: dev_item
- set_fact:
    devices2: "{{ devices2|default([]) + [ dev ] }}"

дает: 

"devices2": [
    {
        "device_name": "/dev/xvdc", 
        "volume_id": "vol-00000000000000000", 
        "volume_size": "120", 
        "volume_type": "standard"
    }, 
    {
        "device_name": "/dev/xvde", 
        "volume_id": "vol-11111111111111111", 
        "volume_size": "80", 
        "volume_type": "standard"
    }, 
    {
        "device_name": "/dev/xvdf", 
        "volume_id": "vol-22222222222222222", 
        "volume_size": "50", 
        "volume_type": "standard"
    }
]
...