Тестуємо середовище для тестування MS Visual Studio Test Professional 2010

Мені давно хотілося наживо «помацати» Microsoft Visual Studio Test Professional. Все-таки це продукт, що позиціонується Microsoft як основна платформа для тестування програм, що створюються Visual Studio (а це мій головний робочий інструмент). Та й чого вже тут гріха таїти, до речі конкурс від Microsoft, що підвернувся, теж не залишив мене байдужим. Прошу заздалегідь пробачити мій дещо «ламерський» погляд на предмет статті — сам я програміст, а не тестер, і можу невірно вживати деякі терміни (а іноді й зовсім пороти безсовісну нісенітницю).

Про що взагалі йдеться?

Microsoft Visual Studio 2010 Test Professional, як написано на офіційному сайті, це спеціалізований набір засобів для груп контролю якості, який спрощує планування і виконання ручних тестів. Не більше не менше. Це не багтрекер, не система безперервної інтеграції, не засіб розробки, не середовище розробки юніт-тестів (хоча VS Test Professional активно взаємодіє з усім перерахованим вище). Це те, що допоможе скласти тест-плани, навести в них порядок, призначити їх конкретним людям та контролювати їх виконання. Плюс трохи автоматизації, кілька засобів комунікації тестерів і програмістів, трохи формалізації процедури тестування і ще деяких речей.

Для того, щоб запустити VS Test Professional нам знадобляться:

• Team Foundation Server (trial можна завантажити тут)
• Visual Studio Team System 2010 (trial можна завантажити тут)
• Сама VS Test Professional - (trial можна завантажити тут)

Встановлювати всі ці продукти можна як на один комп'ютер, так і на різні (але вони мають бути в мережі один з одним). Завантаженнявстановлення та налаштування всіх трьох продуктів зайняла у мене фактично цілий день. Нічого складного просто довго. Це може відлякати бажаючих «мимольотом поглянути» на продукт. Як захисний аргумент варто сказати, що в реальному житті установкою цих трьох продуктів займаються різні люди, в різний час і зробити це потрібно лише один раз.

Зауваження через кут

Під час установки я знайшов 5 багів в інсталяторі VS Test Professional:

• Повідомлення про те, що потрібно ввести 25-значний код, хоча жодного коду для trial-версії нікуди вводити не треба (його і нікуди вводити)
• Дивне вікно вибору папки установки, що порушує принципи повторного використання коду (у Windows є вікно вибору папки), Microsoft Guide зі створення інтерфейсів і принцип симетричності функцій програми (створити папку з діалогу можна, видалити або перейменувати — не можна).
  
• По закінченню установки показується таке вікно:
  

Початок роботи

Перед запуском VS Test Professional нам потрібно за допомогою Visual Studio Team System приконнектитися до Team Foundation Server і створити там спільний проект (а то нафіга ж ми ці програми ставили?). Про те, як це зробити, є ціла купа хороших статей, ну хоча б навіть ось ця. Якщо цього не зробити — VS Test Professional просто не дозволить нам працювати, оскільки перше, що потрібно зробити після її запуску — вибрати сервер TFS і проект на ньому, який ми тестуватимемо. Потім створюється тест-план проекту. Тест-планів може бути кілька.

Зауваження через кут

Русифікація продукту залишає бажати кращого — написи подекуди не влазять, помилки у тексті перевіряються без урахування словника української мови (хоча сам продукт позиціонується якрусифікований)

Головне вікно

Не схоже ні на що. Від Internet Explorer йому дісталися кнопки навігації, від Visual Studio - колірна гама і принцип "дерево проекту зліва - робоча область праворуч", від офісу - подоба риббон-барів у заголовку. Перші враження від вікна — «місь бульдога з носорогом» і «чому було просто не зробити аналог Visual Studio». Однак згодом пристосовуєшся і ставати навіть зручно.

Ділиться головне вікно на дві основні частини: Центр тестування та Центр лабораторій. Про них детальніше.

Центр тестування

Це вікно, де можна додати нові баги, завдання, тест-кейси і т.д. Порядок роботи у ньому в принципі визначається порядком вкладок у верхній частині вікна.

1. Створюємо тест-кейси на вкладці «План».У кожному тест-кейсі описуємо, що він перевіряє, що потрібно зробити, кому він призначений, які критерії успішного проходження тесту та його провалу тощо. Об'єднуємо тест-кейси у набори.

Зауваження через кут

Як видно по скріншоті, помісь української та англійської мови є надзвичайною. В цілому, це стиль всього додатка, а не лише цього вікна.

2. Запускаємо набори тестів на вкладці "Тест"

3. Працюємо з даними на вкладці «Відстеження»Третя вкладка вікна центру тестування призначена для пошуку певної інформації (тест-кейсів, завдань, багів тощо) за певними параметрами. Використовується простий Access-подібний конструктор запитів до сервера TFS. Просто і зрозуміло, але якось не дуже витончено.

4. Створюємо та налаштовуємо тест-плани на вкладці «Налаштування»Якщо в проекті більше одного тест-плану — вони створюються та налаштовуються тут.

Центр лабораторій

Я досить довго розбирався, що таке Центр Лабораторій. Навіть довідку читав. Вона, до речі, українською мовою та місцями досить виразна, хоча часом зустрічаються такі перли як:

«Для середовища необхідно задати контролер тестування. Кожен комп'ютер з агентом тестування, зареєстрований цьому контролері, називається комп'ютер і доступний використання у середовищі.»

Комп'ютер називається комп'ютером. Цінна інформація. Капітан Очевидність схвалює.

Якщо коротко, то Центр Лабораторій дозволяє визначити набір середовищ тестування (середовище = апаратна + програмна конфігурація), на яких ми хочемо проводити тестування нашого проекту. Як середовище тестування може бути реальний фізичний комп'ютер із спеціально встановленою програмою (агентом тестування) чи віртуальна машина. Центр Лабораторій дозволяє гнучко конфігурувати такі середовища, контролювати запуск тестів ними, отримувати результати тестування тощо.

Пара зауважень

Інтерфейс програми (ну, принаймні, його українська версія) створює враження недоробленості. Ось, наприклад, пара вікон, що виникають під час роботи:

У цьому вікні є кнопка довідки — але вона не працює. Плюс дивні назви кнопок замість стандартних "Ок" та "Скасування".

При видаленні з тест-кейсу вкладеного файлу вискакує таке вікно. Явна помилка в заголовку має бути «питання» або «підтвердження» — а зовсім не помилка.

Оцініть розміри стандартних кнопок «Ок», «Скасувати», «Так» та «Ні» у трьох діалогових вікнах, що викликаються з однієї і тієї ж вкладки програми. Вони всі різні.

Продукт залишив у мене неоднозначні враження.

З одного боку, дуже добре продумана система проведення тестування, йогоформальна процедура, вимоги до інформації, що надається по ходу тестування і т.д. Видно, що люди реально думали як зробити продукт, що дозволяє великій групі програмістів та тестерів ефективно взаємодіяти. Все логічно та на своїх місцях.

З іншого боку — байдуже ставлення до інтерфейсу та локалізації, високі системні вимоги (на моєму ноутбуці конфігурації 2 Gb RAM\ 2 GHz двоядерний процесор деякі вікна відкриваються по 10-15 секунд, при тому що звичайна студія працює нормально), орієнтованість тільки на великі проекти (Для невеликих витрати на підтримку інфраструктури проекту і ціна продукту будуть занадто великими).

VS Test Professional, безумовно, має свою нішу на ринку, але сказати, що він підійде всім і закриє всі завдання тестування буде невірно.

Хардкорна конфа за С++. Ми запрошуємо лише профі.

---