понедельник, 13 января 2014 г.

Сравнение test managment систем, интегрирующихся с Redmine.

Ну здравствуйте, ребятки!
Наконец-то я добралась до своего блога :) Можете вздохнуть спокойно, я его не забросила, и буду продолжать радовать вас различными статьями и заметками. Просто в декабре я решила поменять работу. Это привело к тому, что я пока больше не работаю с моим любимым TFS и Coded UI тестами (надеюсь, это временно, очень я их полюбила). Но новая работа - это всегда новый опыт и новые знания. Так что буду с вами делиться тем, что изучаю, может для кого-то и будет полезным.
Итак, до встречи, TFS, и здравствуй, Redmine. Мне, как тестировщику, нужна система управления тест-кейсами. Не могу я тесты писать в Excel. Это лично мое мнение, я его никому не навязываю. Поэтому предлагаю ознакомиться с табличкой сравнения разных Test management систем, которые интегрируются с Redmine. В большей степени эта интеграция сводится к возможности заводить баги в Redmine при падении теста во время его выполнения. Табличка находится здесь. Рекомендую скачать ее, т.к. при просмотре в браузере может отображаться не все ее содержимое.
Всем спасибо и до связи!

21 комментарий:

  1. Так держать! Много новых и интересных публикаций в блоге в текущем году!

    ОтветитьУдалить
  2. Елена, в Test Rail есть возможность сделать ожидаемый результат для каждого шага

    ОтветитьУдалить
    Ответы
    1. Классно, а я этого не нашла. Посмотрю повнимательнее и подправлю табличку. Мне TestRail по демо понравился больше всех остальных. Наталья, а Вы с ним работали? Как впечатления?

      Удалить
    2. Вот ссылка на изменение конфигурации для этой настройки http://docs.gurock.com/testrail-faq/config-steps. Мы работаем недолго, месяцев 6 и нам очень нравится. Я бы сказала, что для меня это самый понятный с первого взгляда инструмент: ничего лишнего и в то же время все, что надо есть. Буквально с первого взгляда освоили те, кто не имел представления об подобных инструментах. Но а самое главное - менеджмент ооочеень хаппи от отчетов. Будут вопросы по настройке - пишите

      Удалить
    3. Есть там один минус, который я заметила: при падении теста во время его выполнения можно заводить баги в баг-трекинг систему, но картинки автоматически не добавляются в баг-трекинг систему (по крайней мере так с jira). Поэтому, если надо приложить скриншот, то приходится открывать сам баг и туда прикладывать картинки.

      Удалить
    4. Наталья, спасибо большое за информацию! Насчет прикладывания картинок - можно написать в техподдержку как пожелание, может они и добавят это в следующий релиз, они же думают о своих пользователях)

      Удалить
    5. Наталья, а не подскажете, вы делали русскую локализацию TestRail?

      Удалить
  3. А в целом, табличка очень полезная! Спасибо!

    ОтветитьУдалить
  4. Привет Лена,
    Хочу поздравить тебя С Новым Годом, Новым Постом в блог и Новой Работой! :D

    У меня вопрос по поводу автоматического заведения багов. Честно говоря, не пойму, зачем это делать автоматом. Всегда придерживался такого мнения, что баги должны быть всегда заведены человеком. И вот почему:
    1. Не понятно, почему тест упал: это была проблема в приложении или ошибка в тесте. Баги в таком случае содержат нечеловеческие логи и стактрейсы, при этом непонятно что из за чего и конкретно где упало.
    В этом случае, было бы неплохо создать некую Апрувал систему, где бы, по крайней мере челок мог «апрувнуть» баг от автоматизации чтобы он пошел в баг-трекер.
    На мой взгляд, лучше разослать отчет о проходе автоматизации и назначить человека, кто его будет разгребать.

    2. Собственно, не понятно на кого асайнить баг и какой севеити и приорити на него ставить.

    3. Один и тот-же упавший тест будет генерировать новые баги при каждом проходе. Мы то, конечно, с тобой знаем как решить эту проблему... :D Но, тем не менее, это требует дополнительных действий и правок кода.

    Как ты решаешь эти вопросы?

    ОтветитьУдалить
    Ответы
    1. Дима, привет и спасибо за поздравления!
      В данном случае речь идет про полуавтоматическое заведение багов при ручном выполнении тест-кейсов. Т.е. ты отмечаешь, что выполняешь этот тест, отмечаешь, какие шаги прошли, и если на каком-то шаге падение, то есть возможность автоматически перейти к созданию бага в той баг-трекинг системе, с которой ты интегрируешься, при этом поля уже будут заполнены данными из тест-кейса, ты сделаешь необходимые тебе поправки и сохранишь его. При этом баг и тест-кейс будут связаны.

      Про автоматическое заведение багов от автотестов, я с таким не сталкивалась, но я с тобой согласна по всем пунктам)

      Удалить
    2. В таком случае, подход я поддерживаю, и возьму на заметку.
      Действительно, было бы удобно, чтобы по клику из отчета, можно было сгенерировать шаблон бага с картинками и приатаченными логами, а после, добавить «человеческий текст» и засабмитить баг.

      У нас была такая история. Один новый чувак, решил в TFS прикрутить фишку автоматического заведения багов при падении юнит-тестов (на каждый коммит).

      И таки прикрутил, и уехал в отпуск.
      После чего, пару тестов начало падать (хорошо что не много) и по каждому коммиту заводится дубликаты багов...

      В общем, ему, наверное позвонили и нашли, и через пару дней, эта штука остановилась :D

      Удалить
    3. Дааа, веселая история))

      Дим, в TFS это уже есть. Если вы используете Test Manager как test management систему, там есть функция запуска тестов и создания багов при падении.

      Удалить
    4. Доброго времени суток, Елена!
      А нет ли у вас какой-то литературы/статей/how-to как это (работа с тест кейсами и полуавтоматическое заведение багов при ручном выполнении тест-кейсов) можно правильно реализвоать в TFS?
      Мой проект стал активно рости и вот руководство решило использовать TFS.
      Пока разобрался с ним только как с багтрекером.

      Удалить
    5. Все это очень хорошо описано в msdn, можно начать читать отсюда http://msdn.microsoft.com/ru-ru/library/ms182409.aspx.

      Удалить
  5. А почему нет ни одного бесплатного инструмента, работающего на сервере?

    ОтветитьУдалить
    Ответы
    1. Я проводила анализ систем, указанных на официциальном сайте http://www.redmine.org/projects/redmine/wiki/ThirdPartyTools#Test-Case-Management. Добавила еще одну самую известную бесплатную систему TestLink.

      Удалить
  6. Спасибо за полезную статью. Если вы пользуетесь Redmine то рекомендую опробовать таймер - RMClient. Позволяет вести точный учет времени и еще получать нотифаи по новым таскам. А вот и адрес проекта: http://rmclient.org

    ОтветитьУдалить
  7. Добрый день! Люди, кто использует в тест кейсах несколько Ожидаемых результатов в одном шаге, какую систему вы используете?
    Александр. a.dykopavl@gmail.com

    ОтветитьУдалить