data warehouse testing tutorial with examples etl testing guide
Цей підручник детально висвітлює цілі та значення тестування сховища даних, відповідальність за тестування ETL, помилки в DW та розгортання ETL:
У цьому Навчальна серія поглибленого складу даних , ми подивились Що таке ET L Процес у сховищі даних у докладно в нашому попередньому підручнику.
Цей підручник дасть вам розуміння того, як тестування сховища даних може бути здійснено в організації. Ви також дізнаєтесь про цілі тестування DW, як і який тип тестування можна виконати у серверній системі, хто бере участь у цьому процесі, помилки DW та розгортання ETL.
=> Перевірте ВСІ підручники зі зберігання даних тут.
Цільова аудиторія
- Розробники та тестувальники сховища даних / ETL.
- Фахівці з баз даних, що володіють базовими знаннями понять баз даних
- Адміністратори баз даних / експерти з великих даних, які хочуть зрозуміти концепції сховища даних / ETL.
- Випускники коледжів / курси підвищення кваліфікації, які шукають роботу зі сховищем даних.
Що ви дізнаєтесь:
Тестування сховища даних (ETL)
Яке значення має тестування систем зберігання даних та систем бізнес-аналітики?
Тестування відіграє вирішальну роль у успіху будь-якої з вищезазначених двох систем, забезпечуючи коректність даних, які формують віру в кінцевих користувачів.
Загалом, дефект, виявлений на пізніх стадіях життєвого циклу розробки програмного забезпечення, коштує виправлення цього дефекту. Ця ситуація в DW може погіршитися, оскільки неправильні дані, виявлені на пізніх стадіях, могли використовуватися до важливих бізнес-рішень на той час.
Таким чином, виправлення в DW є дорожчим з точки зору процесу, зміни людей і технологій. Ви можете розпочати тестування DW прямо з фази збору вимог.
Матриця простежуваності вимог готується та переглядається, і це в основному відображає особливості DW з відповідними бізнес-вимогами. Матриця простежуваності діє як вхід до плану випробувань DW, який готується тестувальниками. План випробувань описує випробування, які слід провести для перевірки системи DW.
Він також описує типи тестів, які будуть виконуватися в системі. Після того, як план тесту буде готовий, всі детальні тестові кейси будуть підготовлені для різних сценаріїв DW. Тоді всі тестові кейси будуть виконані, а дефекти реєструватимуться.
В операційному світі існує стандарт, який підтримує різні середовища для розробки, тестування та виробництва. У світі DW як розробники, так і тестувальники переконуються, що середовища розробки та тестування доступні з реплікою виробничих даних перед початком їх роботи.
Це копіюється для списку таблиць з обмеженими або повними даними залежно від потреб проекту, оскільки виробничі дані дійсно великі. Розробники розробляють свій код в середовищі розробника та передають його тестувальникам.
Тестери перевірятимуть код, що надходить у середовищі тестування, щоб переконатись, що всі системи працюють. Тоді код почне діяти у виробничих середовищах. Код DW також підтримується в різних версіях на основі дефектів, виправлених у кожному випуску. Ведення декількох середовищ та версій коду допомагає створити якісну систему якості.
масиви c ++ у функціях
Цілі тестування сховища даних (ETL)
Давайте подивимось на цілі тестування сховища даних.
# 1) Повнота даних: Переконайтеся, що всі дані з різних джерел завантажені до сховища даних. Команда тестування перевіряє, чи всі записи DW завантажені, у відношенні до вихідної бази даних та простих файлів, дотримуючись наведених нижче зразків стратегій.
- Загальна кількість записів, завантажених із вихідної системи, повинна відповідати загальній кількості записів, завантажених у DW. Якщо є різниця, ви можете подумати про відхилені записи.
- Порівняйте дані, завантажені в кожне поле DW, із вихідними системними полями даних. Це дозволить виявити помилки даних, якщо такі є.
# 2) Перетворення даних: Під час завантаження вихідних даних до сховища даних, кілька полів можуть бути завантажені безпосередньо вихідними даними, але мало полів будуть завантажені даними, які трансформуються відповідно до бізнес-логіки. Це складна частина тестування DW (ETL).
Нижче наведено приклади стратегій для перевірки цього:
- Ви можете перевірити, створивши та порівнявши дані в електронних таблицях. Завантажте трансформовані дані та дані DW у електронні таблиці та проведіть порівняння. Не повинно бути невідповідності.
- Тестери повинні писати запити відповідно до логіки перетворення, щоб порівняти дані DW з вихідними даними. Виконання запиту гарантуватиме, що перевірка даних для будь-якого з полів не відсутня.
# 3) Якість даних: Система сховища даних (ETL) повинна забезпечувати якість завантажених у неї даних шляхом відхилення (або) виправлення даних.
DW може відкинути кілька вихідних системних даних на основі логіки бізнес-вимог. Наприклад, відхилити запис, якщо певне поле містить нечислові дані. Усі відхилені записи завантажуються в таблицю відхилень для довідки.
Відхилені дані повідомляються клієнтам, оскільки немає шансів дізнатись про ці пропущені дані, оскільки вони не будуть завантажені в систему DW. DW може правильно дані, завантажуючи нуль замість нульових значень тощо.
# 4) Масштабованість та продуктивність: Склад даних повинен забезпечувати масштабованість системи із збільшенням навантаження. З цим не повинно відбуватися погіршення продуктивності під час виконання запитів із очікуваними результатами в конкретні часові рамки. Таким чином, тестування продуктивності виявляє будь-які проблеми та усуває їх перед виробництвом.
Нижче наведено зразки стратегій тестування продуктивності та масштабованості:
- Проведіть тестування продуктивності, завантаживши виробничі обсяги даних, і переконайтеся, що часові рамки не пропущені.
- Перевірте ефективність кожного запиту масовими даними. Перевірте продуктивність, використовуючи прості та багаторазові об’єднання.
- Завантажте подвійну (або) потрійну кількість об'ємів даних, які очікуються для розрахунку пропускної здатності системи приблизно.
- Тестуйте, виконуючи завдання для всіх перелічених звітів одночасно.
# 5) Тестування інтеграції: Сховище даних повинно проводити тестування інтеграції з іншими додатками вище та нижче. Якщо це можливо, краще скопіювати виробничі дані у тестове середовище для інтеграційного тестування.
На цьому етапі повинні бути задіяні всі команди систем, щоб подолати прогалини, одночасно розуміючи та перевіряючи всі системи разом.
# 6) Одиничне тестування: Це виконується окремими розробниками за їх результатами. Розробники підготують сценарії модульного тестування на основі їх розуміння вимог, проведуть модульні тести та задокументують результати. Це допомагає розробникам виправити будь-які помилки, якщо їх виявили, перед тим, як доставити код команді тестувань.
# 7) Регресійне тестування: Підтверджує, що система DW не працює належним чином після усунення дефектів. Це виконується багато разів при кожній новій зміні коду.
# 8) Тестування прийняття користувача: Це тестування виконується діловими користувачами для перевірки функціональності системи. Середовище UAT відрізняється від середовища контролю якості. Вихід з UAT означає, що ми готові перенести код на виробництво.
що таке makefile c ++
З точки зору Data Warehouse та Business Intelligence, бізнес-користувачі можуть перевіряти різні звіти через користувальницький інтерфейс (UI). Вони можуть перевірити специфікації звітів на відповідність вимогам, можуть перевірити правильність даних у звітах, можуть перевірити, наскільки швидко система повертає результати тощо.
Діаграма потоку тестування DW:
Відповідальність за тестування сховища даних
Нижче перераховані різні команди, залучені до створення успішної системи DW:
- Бізнес-аналітики: Зберіть усі бізнес-вимоги до системи та задокументуйте ті, які бажають усі.
- Команда інфраструктури: Налаштуйте різні середовища відповідно до вимог як розробників, так і тестувальників.
- Розробники: Розробіть код ETL відповідно до вимог та виконайте модульні тести.
- QA (Забезпечення якості) / Тестери: Розробити план тестування, тестові кейси тощо. Виявляє дефекти системи шляхом виконання тестових кейсів. Виконайте різні рівні тестування.
- DBA: Бази даних адміністраторів відповідають за перетворення логічних сценаріїв бази даних ETL у фізичні сценарії баз даних ETL, а також беруть участь у тестуванні продуктивності.
- Бізнес-користувачі: Залучайте до тестування прийнятності користувачами, запускайте запити та звіти за таблицями DW.
Помилки в сховищі даних
Коли ви видобуваєте, трансформуєте та завантажуєте дані (ETL) з кількох джерел, є ймовірність того, що ви отримаєте погані дані, які можуть перервати тривалі роботи.
Нижче наведено основні причини несправності системи DW:
№1) Порушення бізнес-правил (логічні помилки): Логічно неправильні дані порушують бізнес-правила. Такі дані можна обробляти здебільшого на етапах перетворення або завантаження.
# 2) Порушення правил даних (помилки даних): Помилки даних трапляються всередині системи баз даних DW, як невідповідність типів даних, помилки обмеження даних тощо.
Розгортання ETL
На цьому етапі всі ваші зусилля йдуть у реальному житті. Повинні бути підготовлені всі документи про підтримку виробництва.
Документація розповість іншим про послідовність виконуваних завдань, сценарії відновлення несправностей, навчальні матеріали для команд підтримки DW для моніторингу системи після розгортання та адміністративної групи підтримки для виконання звітів.
Висновок
Про цілі тестування сховища даних, відповідальність за тестування ETL, помилки в DW та розгортання ETL ми детально дізналися в цьому посібнику.
Ми сподіваємось, ви отримали уявлення про те, як можна провести детальне тестування в системі сховища даних (ETL).
=> Завітайте сюди, щоб навчитися зберігання даних з нуля.
Рекомендована література
- Підручник з тестування сховища даних ETL (повний посібник)
- Підручник з об'ємного тестування: Приклади та інструменти обстеження обсягу
- Запитання та відповіді на інтерв’ю для тестування ETL
- Найкращі засоби тестування програмного забезпечення 2021 р. (Інструменти автоматизації тестування якості)
- Функціональне тестування проти нефункціонального тестування
- Посібник із парного тестування чи тестування для всіх пар із інструментами та прикладами
- 10 найкращих засобів тестування ETL у 2021 році
- Як виконати тестування на основі даних у SoapUI Pro - Підручник SoapUI No14