Ну здравствуйте, ребятки!
Наконец-то я добралась до своего блога :) Можете вздохнуть спокойно, я его не забросила, и буду продолжать радовать вас различными статьями и заметками. Просто в декабре я решила поменять работу. Это привело к тому, что я пока больше не работаю с моим любимым TFS и Coded UI тестами (надеюсь, это временно, очень я их полюбила). Но новая работа - это всегда новый опыт и новые знания. Так что буду с вами делиться тем, что изучаю, может для кого-то и будет полезным.
Итак, до встречи, TFS, и здравствуй, Redmine. Мне, как тестировщику, нужна система управления тест-кейсами. Не могу я тесты писать в Excel. Это лично мое мнение, я его никому не навязываю. Поэтому предлагаю ознакомиться с табличкой сравнения разных Test management систем, которые интегрируются с Redmine. В большей степени эта интеграция сводится к возможности заводить баги в Redmine при падении теста во время его выполнения. Табличка находится здесь. Рекомендую скачать ее, т.к. при просмотре в браузере может отображаться не все ее содержимое.
Всем спасибо и до связи!
Так держать! Много новых и интересных публикаций в блоге в текущем году!
ОтветитьУдалитьБуду стараться :)
ОтветитьУдалитьхм... не дает скачать файл
ОтветитьУдалитьВроде через пункт меню Файл скачивается.
УдалитьЕлена, в Test Rail есть возможность сделать ожидаемый результат для каждого шага
ОтветитьУдалитьКлассно, а я этого не нашла. Посмотрю повнимательнее и подправлю табличку. Мне TestRail по демо понравился больше всех остальных. Наталья, а Вы с ним работали? Как впечатления?
УдалитьВот ссылка на изменение конфигурации для этой настройки http://docs.gurock.com/testrail-faq/config-steps. Мы работаем недолго, месяцев 6 и нам очень нравится. Я бы сказала, что для меня это самый понятный с первого взгляда инструмент: ничего лишнего и в то же время все, что надо есть. Буквально с первого взгляда освоили те, кто не имел представления об подобных инструментах. Но а самое главное - менеджмент ооочеень хаппи от отчетов. Будут вопросы по настройке - пишите
УдалитьЕсть там один минус, который я заметила: при падении теста во время его выполнения можно заводить баги в баг-трекинг систему, но картинки автоматически не добавляются в баг-трекинг систему (по крайней мере так с jira). Поэтому, если надо приложить скриншот, то приходится открывать сам баг и туда прикладывать картинки.
УдалитьНаталья, спасибо большое за информацию! Насчет прикладывания картинок - можно написать в техподдержку как пожелание, может они и добавят это в следующий релиз, они же думают о своих пользователях)
УдалитьНаталья, а не подскажете, вы делали русскую локализацию TestRail?
УдалитьА в целом, табличка очень полезная! Спасибо!
ОтветитьУдалитьПривет Лена,
ОтветитьУдалитьХочу поздравить тебя С Новым Годом, Новым Постом в блог и Новой Работой! :D
У меня вопрос по поводу автоматического заведения багов. Честно говоря, не пойму, зачем это делать автоматом. Всегда придерживался такого мнения, что баги должны быть всегда заведены человеком. И вот почему:
1. Не понятно, почему тест упал: это была проблема в приложении или ошибка в тесте. Баги в таком случае содержат нечеловеческие логи и стактрейсы, при этом непонятно что из за чего и конкретно где упало.
В этом случае, было бы неплохо создать некую Апрувал систему, где бы, по крайней мере челок мог «апрувнуть» баг от автоматизации чтобы он пошел в баг-трекер.
На мой взгляд, лучше разослать отчет о проходе автоматизации и назначить человека, кто его будет разгребать.
2. Собственно, не понятно на кого асайнить баг и какой севеити и приорити на него ставить.
3. Один и тот-же упавший тест будет генерировать новые баги при каждом проходе. Мы то, конечно, с тобой знаем как решить эту проблему... :D Но, тем не менее, это требует дополнительных действий и правок кода.
Как ты решаешь эти вопросы?
Дима, привет и спасибо за поздравления!
УдалитьВ данном случае речь идет про полуавтоматическое заведение багов при ручном выполнении тест-кейсов. Т.е. ты отмечаешь, что выполняешь этот тест, отмечаешь, какие шаги прошли, и если на каком-то шаге падение, то есть возможность автоматически перейти к созданию бага в той баг-трекинг системе, с которой ты интегрируешься, при этом поля уже будут заполнены данными из тест-кейса, ты сделаешь необходимые тебе поправки и сохранишь его. При этом баг и тест-кейс будут связаны.
Про автоматическое заведение багов от автотестов, я с таким не сталкивалась, но я с тобой согласна по всем пунктам)
В таком случае, подход я поддерживаю, и возьму на заметку.
УдалитьДействительно, было бы удобно, чтобы по клику из отчета, можно было сгенерировать шаблон бага с картинками и приатаченными логами, а после, добавить «человеческий текст» и засабмитить баг.
У нас была такая история. Один новый чувак, решил в TFS прикрутить фишку автоматического заведения багов при падении юнит-тестов (на каждый коммит).
И таки прикрутил, и уехал в отпуск.
После чего, пару тестов начало падать (хорошо что не много) и по каждому коммиту заводится дубликаты багов...
В общем, ему, наверное позвонили и нашли, и через пару дней, эта штука остановилась :D
Дааа, веселая история))
УдалитьДим, в TFS это уже есть. Если вы используете Test Manager как test management систему, там есть функция запуска тестов и создания багов при падении.
Доброго времени суток, Елена!
УдалитьА нет ли у вас какой-то литературы/статей/how-to как это (работа с тест кейсами и полуавтоматическое заведение багов при ручном выполнении тест-кейсов) можно правильно реализвоать в TFS?
Мой проект стал активно рости и вот руководство решило использовать TFS.
Пока разобрался с ним только как с багтрекером.
Все это очень хорошо описано в msdn, можно начать читать отсюда http://msdn.microsoft.com/ru-ru/library/ms182409.aspx.
УдалитьА почему нет ни одного бесплатного инструмента, работающего на сервере?
ОтветитьУдалитьЯ проводила анализ систем, указанных на официциальном сайте http://www.redmine.org/projects/redmine/wiki/ThirdPartyTools#Test-Case-Management. Добавила еще одну самую известную бесплатную систему TestLink.
УдалитьСпасибо за полезную статью. Если вы пользуетесь Redmine то рекомендую опробовать таймер - RMClient. Позволяет вести точный учет времени и еще получать нотифаи по новым таскам. А вот и адрес проекта: http://rmclient.org
ОтветитьУдалитьДобрый день! Люди, кто использует в тест кейсах несколько Ожидаемых результатов в одном шаге, какую систему вы используете?
ОтветитьУдалитьАлександр. a.dykopavl@gmail.com