Як проводити тестування ETL за допомогою інструменту Informatica PowerCenter

how perform etl testing using informatica powercenter tool

Відомий факт, що Тестування ETL є одним із найважливіших аспектів будь-якого Бізнес-аналітики (BI) додаток. Для того, щоб гарантувати якість та прийняти рішення про початок бізнесу, додаток BI слід заздалегідь протестувати.

Основною метою тестування ETL є забезпечення того, щоб Є xtract, Т перетворити & L oad функціональність працює відповідно до бізнес-вимог та синхронізується зі стандартами продуктивності.

Перш ніж заглибитися в тестування ETL за допомогою Обчислення , важливо знати, що таке ETL та Informatica.

Що ви дізнаєтесь:

• Що ви дізнаєтесь із цього підручника ETL:
• Інструмент тестування ETL Informatica PowerCenter:
• Розуміння тестування ETL, характерного для Informatica:
• Класифікація тестування ETL в Informatica:
• Переваги використання Informatica як інструмента ETL:
• Кілька корисних порад, які допоможуть вам у тестуванні ETL Informatica:
• Висновок:
• Рекомендована література

Що ви дізнаєтесь із цього підручника ETL:

• Основи тестування ETL, Informatica та ETL.
• Розуміння тестування ETL, характерного для Informatica.
• Класифікація тестування ETL в Informatica.
• Приклади тестів для тестування Informatica ETL.
• Переваги використання Informatica як Інструмент ETL .
• Поради та підказки, які допоможуть вам у тестуванні.

Під час обчислень, Extract, Transform, Load (ETL) відноситься до процесу, що використовується у базі даних, і особливо при зберіганні даних, який виконує:

• Вилучення даних - Витягує дані з однорідних або неоднорідних джерел даних.
• Перетворення даних - Форматує дані у необхідний тип.
• Завантаження даних - Перемістіть і збережіть дані на постійне місце для тривалого використання.

Інструмент тестування ETL Informatica PowerCenter:

Informatica PowerCenter - це потужний інструмент ETL від корпорації Informatica. Це єдина уніфікована корпоративна платформа інтеграції даних для доступу, виявлення та інтеграції даних практично з будь-якої бізнес-системи в будь-яку

Це єдина уніфікована платформа для інтеграції корпоративних даних для доступу, виявлення та інтеграції даних практично з будь-якої бізнес-системи в будь-якому форматі та доставки цих даних по всьому підприємству з будь-якою швидкістю. Наскрізь Informatica PowerCenter , ми створюємо робочі процеси, які виконують наскрізні операції ETL.

Завантажте та встановіть Informatica PowerCenter:

Щоб встановити та налаштувати Informatica PowerCenter 9.x, використовуйте посилання нижче, що містить покрокові інструкції:
=> Informatica PowerCenter 9 Посібник із встановлення та конфігурації

Розуміння тестування ETL, характерного для Informatica:

Тестери ETL часто мають відповідні запитання про те, що тестувати в Informatica і скільки потрібно охопити тестом?

Дозвольте мені ознайомити вас з тим, як провести тестування ETL, специфічне для Informatica.

Основними аспектами, які повинні бути по суті висвітлені при тестуванні Informatica ETL, є:

• Тестування функціональності робочого процесу Informatica та його компонентів; всі перетворення, що використовуються в базових відображеннях.
• Щоб перевірити повноту даних (тобто переконавшись, що прогнозовані дані завантажуються до цілі без будь-яких скорочень та втрати даних),
• Перевіряючи, чи завантажуються дані до цілі в передбачувані терміни (тобто оцінка продуктивності робочого процесу),
• Переконавшись, що робочий процес не дозволяє завантажувати в ціль недійсні або небажані дані.

Класифікація тестування ETL в Informatica:

Для кращого розуміння та простоти тестувальника тестування ETL в Informatica можна розділити на дві основні частини -

Запитання щодо інтерв’ю у веб-службі в Java

# 1) Тестування високого рівня
# 2) Детальне тестування

По-перше, під час тестування на високому рівні:

• Ви можете перевірити, чи є робочий процес Informatica та пов’язані об’єкти дійсними чи ні.
• Переконайтеся, що робочий процес успішно завершується під час запуску.
• Переконайтеся, що всі необхідні сеанси / завдання виконуються в робочому процесі.
• Перевірте, чи дані завантажуються до потрібного цільового каталогу та з очікуваним іменем файлу (у випадку, якщо робочий процес створює файл) тощо.

У двох словах, можна сказати, що тестування високого рівня включає всі основні перевірки стану розумності.

Переходячи до наступної частини, тобто детальне тестування в Informatica , Ви будете глибоко перевіряти, чи логіка, реалізована в Informatica, працює належним чином з точки зору її результатів та ефективності.

• Вам потрібно зробити перевірку вихідних даних на рівні поля, що підтвердить, що кожне перетворення працює нормально
• Перевірте, чи враховується запис на кожному рівні обробки, і нарешті, якщо ціль відповідає очікуваним.
• Ретельно стежте за такими елементами, як кваліфікатор джерела та ціль у статистиці джерела / цілі сесії
• Переконайтеся, що тривалість запуску робочого процесу Informatica відповідає передбачуваному часу роботи.

Підводячи підсумок, можна сказати, що детальне тестування включає суворе повне підтвердження робочого процесу Informatica та пов'язаного з ним потоку даних.

Візьмемо тут приклад:

У нас є плоский файл, який містить дані про різні товари. Тут зберігаються такі дані, як назва товару, його опис, категорія, дата закінчення терміну дії, ціна тощо.

Моя вимога полягає в тому, щоб отримати кожен файл продукту з файлу, згенерувати унікальний ідентифікатор товару, що відповідає кожному запису, і завантажити його в цільову таблицю бази даних. Мені також потрібно припинити продукти, які або належать до категорії «С», або термін придатності яких менший за поточну дату.

Скажімо, мій плоский файл (джерело) виглядає так:

(Примітка:Клацніть на будь-яке зображення для збільшення

Виходячи з моїх вимог, зазначених вище, моя таблиця бази даних (Target) повинна виглядати так:

Назва таблиці: Tbl_Product

Скажімо, зараз ми розробили робочий процес Informatica, щоб отримати рішення для моїх вимог ETL.

Базове відображення Informatica буде зчитувати дані з плоского файлу, передавати дані через трансформацію маршрутизатора, що відкине рядки, які або мають категорію продукту як 'C' або термін дії, тоді я буду використовувати генерацію послідовності для створення унікального первинного ключа значення для стовпця Prod_ID у таблиці продуктів.

Нарешті, записи будуть завантажені до таблиці Product, яка є ціллю для мого зіставлення Informatica.

Приклади:

Нижче наведено зразки тестових випадків для сценарію, поясненого вище.

Ви можете використовувати ці тестові кейси як шаблон у своєму проекті тестування Informatica та додавати / видаляти подібні тестові кейси залежно від функціональності вашого робочого процесу.

# 1) Ідентифікатор тестового кейсу: T001

Приклад тесту: Перевірити робочий процес - (ім'я_процесу)

Процедура випробування:

• Перейдіть до менеджера робочих процесів
• Відкрити робочий процес
• Меню робочих процесів-> натисніть перевірити

Вхідне значення / Тестові дані: Джерела та цілі доступні та пов’язані
Джерела: (ім'я всіх екземплярів джерела)
Відтворення: (назва всіх відображень)
Цілі: (назва всіх цільових екземплярів)
Сесія: (назва всіх сеансів)

Очікувані результати: Повідомлення в рядку стану диспетчера робочих процесів: „Робочий процес (ім’я робочого циклу) дійсний“

Фактичні результати: Повідомлення в рядку стану диспетчера робочих процесів: „Робочий процес (ім’я робочого циклу) дійсний“

Примітки:Пройти

Коментарі тестувальника:

# 2) Ідентифікатор тестового кейсу: T002

найкраще програмне забезпечення для драйверів для Windows 10

Приклад тесту: Щоб переконатися, що робочий процес працює успішно

Процедура випробування:

• Перейдіть до менеджера робочих процесів
• Відкрити робочий процес
• Клацніть правою кнопкою миші в конструкторі робочого циклу та виберіть Почати робочий процес
• Перевірте статус у Work Monitor Monitor

Вхідне значення / Тестові дані: Те саме, що і дані тесту для T001

Очікувані результати: Повідомлення у вікні виводу в диспетчері робочих процесів: Оновлення завдання: (ім'я робочого циклу) (успішно)

Фактичні результати: Повідомлення у вікні виводу в диспетчері робочих процесів: Оновлення завдання: (ім'я робочого циклу) (успішно)

Примітки:Пройти

Коментарі тестувальника: Робочий процес вдався

Примітка: Ви можете легко побачити стан запуску робочого циклу (не вдалося / вдалося) на моніторі робочого циклу, як показано в прикладі нижче. Після завершення робочого циклу стан автоматично відображатиметься у моніторі робочого процесу.

На наведеному вище скріншоті ви можете побачити час початку та час закінчення робочого циклу, а також стан успішного завершення.

# 3) Ідентифікатор тестового кейсу: T003

Приклад тесту: Перевірити, чи бажана кількість записів завантажується до цільової

Процедура випробування: Після успішного запуску робочого процесу перейдіть до цільової таблиці бази даних
Перевірте кількість рядків у таблиці цільової бази даних

Вхідне значення / Тестові дані: 5 рядків у вихідному файлі
Ціль: таблиця бази даних - (Tbl_Product)
Запит для запуску на сервері SQL: Виберіть кількість (1) із (Tbl_Product)

Очікувані результати: Виділено 3 ряди

Фактичні результати: Виділено 3 ряди

Примітки:Пройти

Коментарі тестувальника:

# 4) Ідентифікатор тестового кейсу: T004

Приклад тесту: Щоб перевірити, чи добре працює генератор послідовностей у зіставленні Informatica для заповнення (ім'я_первинного_ключка_назви, наприклад Prod_ID) стовпець

Процедура випробування: Після успішного запуску робочого процесу перейдіть до цільової таблиці бази даних
Перевірте унікальну послідовність, згенеровану в стовпці Prod_ID

Вхідне значення / Тестові дані: значення для Prod_ID залишено порожнім для кожного рядка у вихідному файлі
Генератор послідовностей відображений у стовпці Prod_ID на відображенні
Початкове значення генератора послідовностей встановлено як 1001
Ціль: таблиця бази даних - (Tbl_Product) відкрита в SQL Server

Очікувані результати: Значення від 1001 до 1003 заповнюється в кожному рядку для стовпця Prod_ID

Фактичні результати: Значення від 1001 до 1003 заповнюється в кожному рядку для стовпця Prod_ID

Примітки:Пройти

Коментарі тестувальника:

# 5) Ідентифікатор тестового кейсу: T005

sql запитання та відповіді для досвідчених

Приклад тесту: Щоб перевірити, чи добре працює трансформація маршрутизатора, щоб придушити записи на випадок, якщо категорія товару має значення «С» або термін дії товару закінчився.

Процедура випробування: Після успішного запуску робочого процесу перейдіть до цільової таблиці бази даних
Запустіть запит у цільовій таблиці, щоб перевірити, чи не було придушено потрібні записи.

Вхідне значення / Тестові дані: 5 рядків у вихідному файлі
Ціль: таблиця бази даних - (Tbl_Product)
Запит для запуску на сервері SQL: Виберіть * із продукту, де Prod_category = ‘C’ або Prod_expiry_date< sysdate ;

Очікувані результати: не вибрано жодного рядка

Фактичні результати: не вибрано жодного рядка

Примітки:Пройти

Коментарі тестувальника: (якщо хто-небудь)

# 6) Ідентифікатор тестового кейсу: T006

Приклад тесту: Щоб перевірити продуктивність робочого процесу, записавши час виконання робочого циклу.

Процедура випробування:

• Відкрийте монітор робочого процесу та виконайте запуск, виконаний у рамках T001.
• Запишіть час початку та час закінчення робочого процесу.
• Обчисліть загальний час роботи, віднімаючи час початку від часу завершення.

Вхідне значення / Тестові дані: Робочий процес успішно запущений
Час початку робочого процесу в моніторі
Кінцевий час робочого процесу в моніторі.

Очікувані результати: 2 хв 30 сек

Фактичні результати: 2 хв 15 сек

Примітки:Пройти

Коментарі тестувальника: Розглядаючи тест як «Прохідний», якщо фактична тривалість пробігу становить +/- 10% від очікуваної тривалості пробігу.

# 7) Ідентифікатор тестового кейсу: T007

Приклад тесту: Перевірити дані на рівні стовпця цільової таблиці, щоб переконатися, що немає втрат даних.

Процедура випробування: Після успішного запуску робочого процесу перейдіть до SQL Server.
Запустіть запит у цільовій таблиці, щоб перевірити відсутність втрати даних.

Вхідне значення / Тестові дані: Робочий процес успішно запущений
Один зразок запису із вихідного плоского файлу.
Запит SQL: Виберіть Top 1 * у Tbl_Patient;

Очікувані результати:
Повернено 1 рядок

Фактичні результати:
Повернено 1 рядок.

Примітки:Пройти

Коментарі тестувальника: Розглядаючи тест як «Прохідний», якщо фактична тривалість пробігу становить +/- 10% від очікуваної тривалості пробігу.

Переваги використання Informatica як інструмента ETL:

Informatica - популярний та успішний інструмент ETL, оскільки:

• Він має високий коефіцієнт успішності 'в прямому ефірі' (майже 100%)
• Informatica має можливість сприяти Lean Integration.
• Це інструмент за помірними цінами в порівнянні з іншими інструментами ETL.
• Він поставляється з внутрішнім планувальником завдань. Отже, немає необхідності використовувати сторонній планувальник окремо, як це роблять деякі інші інструменти ETL.
• Просте навчання та доступність інструментів зробили Informatica більш популярним.

Кілька корисних порад, які допоможуть вам у тестуванні ETL Informatica:

• Створіть дані тесту перед виконанням сценаріїв тесту.
• Дані тесту повинні синхронізуватися з тестом, для якого він використовується.
• Переконайтеся, що ви охопили всі 3 сценарії - дані не надсилаються, недійсні дані подаються і дійсні дані подаються як вхідні дані до робочого процесу Informatica.
• Не забудьте перевірити, чи всі необхідні дані завантажуються для цільового повністю. Для цього ви можете використати тестовий приклад - T003, описаний вище, як зразок.
• Дуже важливо перевірити, чи робочий процес виконує всі перетворення даних правильно згідно з бізнес-правилами.
• Я б запропонував, щоб для кожного перетворення, застосованого у вашому відображенні Informatica, у вас був контрольний список для перевірки вихідних даних щодо нього. Таким чином, ви можете легко повідомляти про помилки, якщо будь-яке перетворення не працює нормально.

Висновок:

Отже, ми детально бачили деякі зразки тестових випадків, які можуть бути використані як шаблон для висвітлення тестування ETL в Informatica. Як я вже згадував раніше, ви можете додавати / видаляти / змінювати ці тестові випадки залежно від сценарію, який є у вашому проекті.

Як я вже згадував раніше, ви можете додавати / видаляти / змінювати ці тестові випадки залежно від сценарію, який є у вашому проекті.

Informatica PowerCenter є основою для будь-якої діяльності з інтеграції даних.

Ви можете легко виконувати автоматичне тестування даних, скопійованих для тестування, розробки чи робочого середовища, без сценарію, і саме тому PowerCenter є найпопулярнішим інструментом ETL на сьогодні.

Рекомендована література => ETL проти тестування DB - Пильний погляд на необхідність тестування ETL

Про автора: Це гостьова стаття Приї К. Вона має понад 4 роки практичного досвіду у розробці та підтримці програм ETL Informatica.

Не соромтеся розміщувати свої запити / коментарі про цей інструмент ETL.

Рекомендована література

• Найкращі засоби тестування програмного забезпечення 2021 р. (Інструменти автоматизації тестування якості)
• Як виконати бекенд-тестування
• Запитання та відповіді на інтерв’ю для тестування ETL
• Підручник з тестування сховища даних ETL (повний посібник)
• Завантажити тестувальник електронної книги
• ETL проти тестування DB - пильніший погляд на необхідність тестування ETL, планування та інструменти ETL
• Тестування навантаження за допомогою LoadUI - безкоштовний інструмент тестування навантаження з відкритим кодом
• 10 найкращих засобів тестування ETL у 2021 році