Ошибка создания / разбора плоского файла (с фиксированной шириной) в Anypoint Studio - PullRequest
0 голосов
/ 24 апреля 2018

Я пытаюсь проанализировать плоский файл фиксированной ширины (записей типа заголовка и сведений), в файле нет повторяющегося / определенного значения тега для идентификации сегментов.когда я пытаюсь обработать файл (простое преобразование в формат json) в Anypoint Studio, я получаю сообщение об ошибке "java.lang.IllegalStateException: сегмент не определен" .Я понимаю, что схему нужно исправить, но у меня нет идей, чтобы попробовать.

Буду признателен, если кто-нибудь сможет указать, что с ней не так, с точки зрения студии Anypoint.

Схема:

form: FIXEDWIDTH
structures:
- id: 'flatfile'
  name: flatfile
  tagStart: 0
  data:
  - { idRef: 'Header', count: 1}
  - { idRef: 'Items', count: 99, usage: O}  
segments:
- id: 'Header'
  name: Header
  values:
 - { name: 'PCBCode', type: String, length: 8 }
 - { name: 'NumberTG', type: String, length: 17 }
 - { name: 'TopSort', type: String, length: 1 }
 - { name: 'InternalRef', type: String, length: 5 }
 - { name: 'DateInt', type: String, length: 26 }
 - { name: 'DAT', type: String, length: 26 }
 - { name: 'DIN', type: String, length: 26 }
 - { name: 'DLN', type: String, length: 26 }
 - { name: 'DON', type: String, length: 26 }
 - { name: 'Sort', type: String, length: 10 }
 - { name: 'NameCharter', type: String, length: 35 }
 - { name: 'NumberReg', type: String, length: 17 }
 - { name: 'NatTruck', type: String, length: 3 }
 - { name: 'NumRemarks', type: String, length: 17 }
 - { name: 'NatRemarks', type: String, length: 3 }
 - { name: 'Weight', type: String, length: 6 }
 - { name: 'Remarks', type: String, length: 35 }
- id: 'Items'
  name: Items
  values:
 - { name: 'TVNum', type: String, length: 17 }
 - { name: 'Load', type: String, length: 1 }
 - { name: 'Flag', type: String, length: 1 }
 - { name: 'col', type: String, length: 17 }

Образцы данных ниже имеют длину 4000

BCD_VAN 180223G04467     N377612018-02-23-13.57.15.7722282018-02-26-13.21.26.3305841901-01-01-00.00.00.0000001901-01-01-00.00.00.0000001901-01-01-00.00.00.000000          TAURUS                             W1TRS19          PL WWL72142         PL 000000                                   G18GKJ99-690851                     G18GKJ96-690851                     G18GKJ22-685131                     G18GKJ00-668701                     G18GGX99-668701                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  

1 Ответ

0 голосов
/ 25 апреля 2018

Благодаря магии кусочков Python данные фиксированной ширины легко обрабатываются. Срезы - это объекты, которые можно использовать для «вырезания» фрагментов из последовательности, будь то строка, список, кортеж или любая другая последовательность, поддерживающая индексированную адресацию. Представьте, что у вас есть строка rec = "BLAHXXIMPORTANT DATAXXBLAH". Вы можете извлечь важные данные, используя rec[6:20]. Вы также можете создать срез, используя data_slice = slice(6, 20), а затем получить значения из rec, используя rec[data_slice].

Вот экстрактор для вашей записи данных примера, который создает фрагменты и связанные с ними имена путем анализа спецификации поля:

layout = """\
 - { name: 'PCBCode', type: String, length: 8 }
 - { name: 'NumberTG', type: String, length: 17 }
 - { name: 'TopSort', type: String, length: 1 }
 - { name: 'InternalRef', type: String, length: 5 }
 - { name: 'DateInt', type: String, length: 26 }
 - { name: 'DAT', type: String, length: 26 }
 - { name: 'DIN', type: String, length: 26 }
 - { name: 'DLN', type: String, length: 26 }
 - { name: 'DON', type: String, length: 26 }
 - { name: 'Sort', type: String, length: 10 }
 - { name: 'NameCharter', type: String, length: 35 }
 - { name: 'NumberReg', type: String, length: 17 }
 - { name: 'NatTruck', type: String, length: 3 }
 - { name: 'NumRemarks', type: String, length: 17 }
 - { name: 'NatRemarks', type: String, length: 3 }
 - { name: 'Weight', type: String, length: 6 }
 - { name: 'Remarks', type: String, length: 35 }
 """

# build data slicer - list of names and slices for each field in the fixed format input
slicer = []
cur = 0
for line in layout.splitlines():
    # split the line on whitespace, will give a list like:
    #   ['-', '{', 'name:', "'PCBCode',", 'type:', 'String,', 'length:', '8', '}']
    # the name is in element 3 (we start with 0), and the integer length 
    # is second from last, so we can use index -2 to get it
    parts = line.split()
    if not parts:
        continue
    slice_name = parts[3].strip("',")
    slice_len = int(parts[-2])
    slicer.append((slice_name, slice(cur, cur+slice_len)))
    cur += slice_len

# print out the names and slices
for slc in slicer:
    print(slc)
print()

печать:

('PCBCode', slice(0, 8, None))
('NumberTG', slice(8, 25, None))
('TopSort', slice(25, 26, None))
('InternalRef', slice(26, 31, None))
('DateInt', slice(31, 57, None))
('DAT', slice(57, 83, None))
('DIN', slice(83, 109, None))
('DLN', slice(109, 135, None))
('DON', slice(135, 161, None))
('Sort', slice(161, 171, None))
('NameCharter', slice(171, 206, None))
('NumberReg', slice(206, 223, None))
('NatTruck', slice(223, 226, None))
('NumRemarks', slice(226, 243, None))
('NatRemarks', slice(243, 246, None))
('Weight', slice(246, 252, None))
('Remarks', slice(252, 287, None))

Теперь вы можете использовать кусочки (которые похожи на маленькие (start, end, step) тройки, точно так же, как вы использовали бы для индексации в строку с data[start:end:step]) и связанные с ними имена для построения диктанта.

# a simple method to slice up a fixed format data line with a slicer, strips trailing spaces from fields
def extract(slicer, data_line):
    return {name: data_line[data_slice].strip() for name, data_slice in slicer}

Как это выглядит с вашими данными:

# try it out
data = "BCD_VAN 180223G04467     N377612018-02-23-13.57.15.7722282018-02-26-13.21.26.3305841901-01-01-00.00.00.0000001901-01-01-00.00.00.0000001901-01-01-00.00.00.000000          TAURUS                             W1TRS19          PL WWL72142         PL 000000                                   G18GKJ99-690851                     G18GKJ96-690851                     G18GKJ22-685131                     G18GKJ00-668701                     G18GGX99-668701                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  "
data_dict = extract(slicer, data)

# output as JSON
import json
print(json.dumps(data_dict, indent=2))

печать:

{
  "Remarks": "",
  "PCBCode": "BCD_VAN",
  "NatTruck": "PL",
  "DateInt": "2018-02-23-13.57.15.772228",
  "DAT": "2018-02-26-13.21.26.330584",
  "NumRemarks": "WWL72142",
  "Weight": "000000",
  "DIN": "1901-01-01-00.00.00.000000",
  "Sort": "",
  "InternalRef": "37761",
  "NumberTG": "180223G04467",
  "DLN": "1901-01-01-00.00.00.000000",
  "TopSort": "N",
  "NatRemarks": "PL",
  "NumberReg": "W1TRS19",
  "NameCharter": "TAURUS",
  "DON": "1901-01-01-00.00.00.000000"
}
...