Что я делаю
Редактировать: я создал репо с упрощенной версией моей проблемы, воспроизводящей проблему.
Я пытаюсь настроить автоматическое тестирование внешнего интерфейса с помощью browserstack , selenium-webdriver и tape .
Идея состоит в том, чтобы определить несколько браузеров и устройств, которые должны тестироваться один за другим с количеством заданных тестов X. В приведенном ниже примере я определяю только один тест и два браузера в OSX.
Чтобы определить браузеры только один раз и выполнить тесты, я создал репо test-runner, который должен быть добавлен как dev-dependency к репо, которые необходимо протестировать на данных устройствах и браузерах.
test-runner пропускает все необходимые тесты, запускает первый браузер, запускает тесты в этом браузере, и после завершения всех тестов браузер закрывается quit(), и следующий браузер запускается и тестирует снова.
тест-бегун
/ index.js
const webdriver = require( 'selenium-webdriver' )
// ---
// default browser configs
// ---
const defaults = {
"os" : "OS X",
"os_version" : "Mojave",
"resolution" : "1024x768",
"browserstack.user" : "username",
"browserstack.key" : "key",
"browserstack.console": "errors",
"browserstack.local" : "true",
"project" : "element"
}
// ---
// browsers to test
// ---
const browsers = [
{
"browserName" : "Chrome",
"browser_version" : "41.0"
},
{
"browserName" : "Safari",
"browser_version" : "10.0",
"os_version" : "Sierra"
}
]
module.exports = ( tests, url ) => {
// ---
// Asynchronous forEach loop
// helper function
// ---
async function asyncForEach(array, callback) {
for (let index = 0; index < array.length; index++) {
await callback(array[index], index, array)
}
}
// ---
// runner
// ---
const run = async () => {
// ---
// Iterate through all browsers and run the tests on them
// ---
await asyncForEach( browsers, async ( b ) => {
// ---
// Merge default configs with current browser
// ---
const capabilities = Object.assign( {}, defaults, b )
// ---
// Start and connect to remote browser
// ---
console.info( '-- Starting remote browser hang on --', capabilities.browserName )
const browser = await new webdriver.Builder().
usingServer( 'http://hub-cloud.browserstack.com/wd/hub' ).
withCapabilities( capabilities ).
build()
// ---
// Navigate to page which needs to be checked (url)
// ---
console.log('-- Navigate to URL --')
await browser.get( url )
// ---
// Run the tests asynchronously
// ---
console.log( '-- Run tests --- ' )
await asyncForEach( tests, async ( test ) => {
await test( browser, url, capabilities, webdriver )
} )
// ---
// Quit the remote browser when all tests for this browser are done
// and move on to next browser
// Important: if the browser is quit before the tests are done
// the test will throw an error beacause there is no connection
// anymore to the browser session
// ---
browser.quit()
} )
}
// ---
// Start the tests
// ---
run()
}
Если вам интересно, как работает эта asyncForEach функция, я получил ее от здесь .
мой-репо
/ тест / передний / index.js
const testRunner = require( 'test-runner' )
const url = ( process.env.NODE_ENV == 'development' ) ? 'http://localhost:8888/element/...' : 'https://staging-url/element/...'
// tests to run
const tests = [
require('./test.js')
]
testRunner( tests, url )
/ тест / передний / test.js
const tape = require( 'tape' )
module.exports = async ( browser, url, capabilities, driver ) => {
return new Promise( resolve => {
tape( `Frontend test ${capabilities.browserName} ${capabilities.browser_version}`, async ( t ) => {
const myButton = await browser.wait( driver.until.elementLocated( driver.By.css( 'my-button:first-of-type' ) ) )
myButton.click()
const marked = await myButton.getAttribute( 'marked' )
t.ok(marked == "true", 'Button marked')
//---
// Test should end now
//---
t.end()
resolve()
} )
})
}
/ package.json
{
...
"scripts": {
"test": "NODE_ENV=development node test/front/ | tap-spec",
"travis": "NODE_ENV=travis node test/front/ | tap-spec"
}
...
}
Когда я хочу запустить тесты, я выполняю npm run test в my-repo
Помните, что у нас есть только один тест (но также может быть несколько тестов) и два браузера, определенные таким образом:
- Запустить браузер 1 и перейти (Chrome)
- Один тест в браузере 1 (Chrome)
- Закрыть браузер 1 (Chrome)
- Запустить браузер 2 и перейти (Safari)
- Один тест в браузере 2 (Safari)
- Закрыть браузер 2 (Safari)
- сделано
Проблема
Кажется, что асинхронный процесс работает просто отлично, браузеры запускаются один за другим, как и предполагалось. Проблема в том, что первый тест не заканчивается, даже когда я звоню t.end(), и я не получаю второй тест (не проходит сразу после 4.) .
Что я пробовал
Я попытался использовать t.pass(), а также запустить CLI с NODE_ENV=development tape test/front/ | tap-spec, но это не помогло.
Я также заметил, что когда я не resolve() в test.js, тест заканчивается просто отлично, но, конечно, я не могу перейти к следующему тесту.
Я также пытался адаптировать свой код, как решение этой проблемы , но мне не удалось заставить его работать.
Тем временем я также открыл выпуск на странице лент github.
Так что я надеюсь, что вопрос не слишком труден для чтения, и любая помощь будет принята с благодарностью.