Меню

Підручник з тестування сховища даних ETL (повний посібник)

etl testing data warehouse testing tutorial

Спробуйте Наш Інструмент Для Усунення Проблем

Процес тестування / складування даних ETL та проблеми:

Сьогодні дозвольте мені взяти хвилинку та пояснити моє тестування братству про одну з найбільш затребуваних та майбутніх навичок для моїх друзів-тестувальників, тобто тестування ETL (Витяг, Трансформація та Навантаження).

Цей підручник запропонує вам повне уявлення про тестування ETL та те, що ми робимо для тестування процесу ETL.

Повний список підручників у цій серії:

Було помічено, що Незалежна перевірка та перевірка набуває величезного ринкового потенціалу, і багато компаній зараз розглядають це як перспективну вигоду для бізнесу.

Тестування ETL _ Тестування сховища даних - Поради, методи, процеси та проблеми

Клієнтам пропонується різний асортимент товарів з точки зору пропозицій послуг, розподілених у багатьох сферах на основі технологій, процесів та рішень. ETL або сховище даних - одна з пропозицій, яка швидко та успішно розвивається.

Процес ETL

За допомогою процесу ETL дані отримуються з вихідних систем, трансформуються відповідно до бізнес-правил і остаточно завантажуються в цільову систему (сховище даних). Сховище даних - це сховище для всього підприємства, яке містить інтегровані дані, які допомагають у процесі прийняття бізнес-рішень. Це частина бізнес-аналітики.

Що ви дізнаєтесь:

Навіщо організаціям потрібно сховище даних?

Організації з організованою ІТ-практикою з нетерпінням чекають створення наступного рівня трансформації технологій. Зараз вони намагаються зробити себе набагато більш оперативними, використовуючи прості для взаємодії дані.

Сказавши, що дані є найважливішою частиною будь-якої організації, це можуть бути щоденні дані чи історичні дані. Дані є основою будь-якого звіту, а звіти є базовою лінією, на якій приймаються всі життєво важливі управлінські рішення.

Більшість компаній роблять крок вперед для створення свого сховища даних для зберігання та моніторингу даних у режимі реального часу, а також історичних даних. Створення ефективного сховища даних - справа непроста. Багато організацій мають розподілені відділи з різними програмами, що працюють за розподіленою технологією.

Інструмент ETL використовується для бездоганної інтеграції між різними джерелами даних з різних підрозділів. Інструмент ETL працюватиме як інтегратор, витягуючи дані з різних джерел; перетворюючи його у бажаний формат на основі правил трансформації бізнесу та завантажуючи у згуртовану БД, відомі сховище даних.

Добре спланований, чітко визначений та ефективний обсяг тестування гарантує плавне перетворення проекту до виробництва. Бізнес отримує реальну плавучість, коли процеси ETL перевіряються та затверджуються незалежною групою експертів, щоб переконатися, що сховище даних є конкретним та надійним.

Тестування ETL або сховища даних поділяється на чотири різні дії незалежно від використовуваної технології або інструментів ETL:

  • Тестування нового складу даних - Нова DW побудована та перевірена з нуля. Введення даних береться з вимог замовника та різних джерел даних, а також створюється і перевіряється нове сховище даних за допомогою інструментів ETL.
  • Тестування міграції - У цьому типі проекту замовник матиме існуючі DW та ETL, які виконують роботу, але вони прагнуть придбати новий інструмент для підвищення ефективності.
  • Запит на зміну - У цьому типі проекту нові дані додаються з різних джерел до існуючого DW. Крім того, може існувати умова, коли замовник повинен змінити своє діюче бізнес-правило, або він може інтегрувати нове правило.
  • Тестування звітів - Звіт - це кінцевий результат будь-якого сховища даних та основна пропозиція, для якої будується DW. Звіт повинен бути перевірений шляхом перевірки макета, даних у звіті та розрахунку.

Процес ETL

( Примітка : Натисніть на зображення для збільшення)

Тестування ETL

Методи тестування ETL

1) Тестування перетворення даних : Переконайтесь, що дані трансформуються правильно відповідно до різних бізнес-вимог та правил.

2) Тестування джерела до цільової кількості : Переконайтесь, що кількість записів, завантажених у ціль, відповідає очікуваному.

3) Перевірка джерела до цільових даних : Переконайтесь, що всі прогнозовані дані завантажуються у сховище даних без втрати та усічення даних.

4) Тестування якості даних : Переконайтеся, що програма ETL належним чином відхиляє, замінює значеннями за замовчуванням та повідомляє про недійсні дані.

5) Тестування продуктивності : Переконайтеся, що дані завантажуються у сховище даних у встановлені та очікувані терміни, щоб підтвердити покращену продуктивність та масштабованість.

Запитання та відповіді на інтерв’ю ado.net для досвідчених

6) Тестування валідації виробництва: Перевірте дані у виробничій системі та порівняйте їх із вихідними даними.

7) Тестування інтеграції даних : Переконайтесь, що дані з різних джерел завантажені належним чином у цільову систему та перевірено всі порогові значення.

8) Тестування міграції додатків : Під час цього тестування гарантується, що програма ETL працює нормально при переході на нову скриньку або платформу.

9) Перевірка даних та обмежень : У цьому випадку перевіряються тип даних, довжина, індекс, обмеження тощо.

10) Перевірка повторюваних даних : Перевірте, чи є в цільових системах дубльовані дані. Повторювані дані можуть призвести до неправильних аналітичних звітів.

Окрім вищезазначених методів тестування ETL, також проводяться інші методи тестування, такі як тестування системної інтеграції, тестування прийнятності користувачами, додаткове тестування, регресійне тестування, тестування та навігаційне тестування, щоб переконатися, що все є гладким та надійним.

ETL / Інформаційне сховище Процес тестування

Як і будь-яке інше тестування, яке перебуває в рамках незалежної перевірки та перевірки, ETL також проходить ту ж фазу.

  • Розуміння вимог
  • Перевірка
  • Тестова оцінка виходячи з ряду таблиць, складності правил, обсягу даних та продуктивності роботи.
  • Планування випробувань на основі вхідних даних тестової оцінки та бізнес-вимог. Тут нам потрібно визначити, що є сферою дії, а що поза сферою дії. На цій фазі ми також звертаємо увагу на залежності, ризики та плани зменшення наслідків.
  • Розробка тестових кейсів і тестуйте сценарії з усіх доступних входів. Нам також потрібно розробити документ зіставлення та сценарії SQL.
  • Як тільки всі тестові кейси будуть готові та затверджені, команда тестування виконує попередню перевірку та підготовка даних тесту для тестування
  • Нарешті, виконання виконується до досягнення критеріїв виходу. Отже, фаза виконання включає виконання завдань ETL, моніторинг запусків завдань, виконання сценарію SQL, реєстрацію дефектів, повторне тестування дефектів та тестування регресії.
  • Після успішного завершення готується підсумковий звіт і завершується процес закриття. На цьому етапі дається підпис для просування роботи або коду до наступного етапу.

Перші дві фази, тобто розуміння та перевірка вимог, можна розглядати як попередні етапи процесу випробування ETL.

Отже, основний процес може бути представлений нижче:

основний процес

Необхідно визначити стратегію тестування, яка повинна бути взаємно прийнятою зацікавленими сторонами перед початком фактичного тестування. Чітко визначена стратегія тестування забезпечить дотримання правильного підходу, що відповідає прагненню тестування.

Тестування ETL / Data Warehouse може зажадати великого написання операторів SQL командою тестувальників або, можливо, адаптацією SQL, наданого командою розробників. У будь-якому випадку, команда тестування повинна знати результати, які вони намагаються отримати, використовуючи ці оператори SQL.

Різниця між тестуванням бази даних та сховища даних

Існує популярне непорозуміння, що тестування баз даних і інформаційне сховище схоже, тоді як справа в тому, що обидва мають різний напрямок у тестуванні.

  • Тестування баз даних проводиться з використанням менших масштабів даних, як правило, з типом баз даних OLTP (онлайн-обробка транзакцій), тоді як тестування сховища даних проводиться з великим обсягом з даними, що включають бази даних OLAP (аналітична онлайн-обробка).
  • При тестуванні баз даних дані зазвичай послідовно вводяться з єдиних джерел, тоді як при тестуванні сховища даних більшість даних надходять із різних типів джерел даних, які послідовно не узгоджуються.
  • Зазвичай ми виконуємо єдину операцію CRUD (Створення, читання, оновлення та видалення) при тестуванні баз даних, тоді як при тестуванні сховища даних ми використовуємо операцію лише для читання (Вибір).
  • Нормалізовані бази даних використовуються при тестуванні БД, тоді як деморалізовані БД використовуються при тестуванні сховища даних.

Існує низка універсальних перевірок, які необхідно провести для будь-якого виду тестування сховища даних.

Нижче наведено перелік об’єктів, які розглядаються як важливі для перевірки в цьому тестуванні:

  • Переконайтеся, що перетворення даних із джерела в пункт призначення працює належним чином
  • Переконайтеся, що очікувані дані додаються до цільової системи
  • Переконайтеся, що всі поля БД та дані полів завантажуються без будь-яких скорочень
  • Перевірте контрольну суму даних на відповідність кількості записів
  • Переконайтеся, що для відхилених даних створюються належні журнали помилок із усіма деталями
  • Перевірте поля NULL значення
  • Переконайтеся, що дублікати даних не завантажені
  • Перевірити цілісність даних

=> Знати різниця між тестуванням ETL / сховища даних та тестуванням баз даних .

Проблеми тестування ETL

Це тестування значно відрізняється від звичайного тестування. Існує багато проблем, з якими ми стикалися під час тестування сховища даних.

Ось кілька викликів, які я зазнав у своєму проекті:

  • Несумісні та повторювані дані
  • Втрата даних під час процесу ETL
  • Недоступність включеного випробувального стенду
  • Тестери не мають привілеїв самостійно виконувати завдання ETL
  • Обсяг і складність даних дуже великі
  • Помилка бізнес-процесу та процедур
  • Проблеми з отриманням та створенням даних тесту
  • Нестабільне середовище тестування
  • Відсутня інформація про потоки бізнесу

Дані важливі для бізнесу для прийняття важливих бізнес-рішень. Тестування ETL відіграє важливу роль у підтвердженні та забезпеченні точності, послідовності та надійності ділової інформації. Крім того, це мінімізує ризик втрати даних у виробництві.

Сподіваємось, ці поради допоможуть забезпечити точність вашого процесу ETL, а побудова сховища даних - це конкурентна перевага для вашого бізнесу.

Повний перелік підручників з тестування ETL:

Це гостьовий допис Вішаля Чаперії, який працює в MNC, виконуючи обов'язки керівника тесту. Він має великий досвід управління багатопрофільними проектами з контролю якості, процесами та командами.

Ви працювали над тестуванням ETL? Будь ласка, поділіться своїми порадами та випробуваннями ETL / DW нижче.

Рекомендована література

^