Тестовые случаи Botium терпят неудачу периодически и непоследовательно - PullRequest
1 голос
/ 03 июля 2019

Похоже, что мои тестовые случаи с чат-ботами, запускаемые через Botium, нерегулярно и непоследовательно. Чатбот частично использует DialogFlow. Планировщик спрашивает пользователя, хотят ли они слушать музыку и т. Д. Если играет музыка, пользователь может попросить чат-бота остановить / отменить музыку.

Я уже пытался увеличить время ожидания. В файле botium.json в каталоге моего проекта я добавил возможность: «WAITFORBOTTIMEOUT»: 50000,

Вот несколько первых файлов в моей директории testset: Cancel.convo.txt:

Cancel

#me
Cancel_input

#bot
Cancel_output_0

Cancel_input.utterances.txt:

Cancel_input
could you stop
enough music
music off
stop playing the music
can you stop the music
turn off music
enough
can you stop playing music please
stop the music
stop playing
stop
I give up
forget it
not now
stop it
cancel
never mind
go away
be quiet
shut up
i'm busy

Cancel_output_0.utterances.txt:

Cancel_output_0
Cancelled

Выход журнала:

Botium Test-Suite
    1) Cancel/Cancel_input-L1
    ✓ Cancel/Cancel_input-L10 (441ms)
    2) Cancel/Cancel_input-L11
    ✓ Cancel/Cancel_input-L12 (245ms)
    3) Cancel/Cancel_input-L13
    4) Cancel/Cancel_input-L14
    ✓ Cancel/Cancel_input-L15 (283ms)
    5) Cancel/Cancel_input-L16
    ✓ Cancel/Cancel_input-L17 (286ms)
    ✓ Cancel/Cancel_input-L18 (269ms)
    ✓ Cancel/Cancel_input-L19 (264ms)
    ✓ Cancel/Cancel_input-L2 (264ms)
    ✓ Cancel/Cancel_input-L20 (256ms)
    ✓ Cancel/Cancel_input-L21 (303ms)
    ✓ Cancel/Cancel_input-L3 (301ms)
    6) Cancel/Cancel_input-L4
    ✓ Cancel/Cancel_input-L5 (230ms)
    ✓ Cancel/Cancel_input-L6 (262ms)
    ✓ Cancel/Cancel_input-L7 (284ms)
...
...