Меню

Підручник з Data Mart - типи, приклади та реалізація Data Mart

  • Головна
  • Інший
  • Підручник з Data Mart - типи, приклади та реалізація Data Mart

data mart tutorial types

Спробуйте Наш Інструмент Для Усунення Проблем

Цей посібник пояснює концепції Data Mart, включаючи реалізацію Data Mart, типи, структуру, а також відмінності між сховищем даних проти Data Mart:

Запитання та відповіді на іспит в

У цьому Пройдіть повну серію навчальних програм зі складу даних , ми подивились різні Схеми сховища даних детально.

Цей посібник допоможе вам детально вивчити концепції Data Mart разом із простими прикладами.

Ми побачимо, що таке маркер даних? Коли нам потрібен маркер даних? Економічно ефективне мартування даних, Вартість мартеру даних, Типи мартерів даних, Етапи впровадження Маршрутизатора даних, Структура Маршрутизатора даних, Коли корисний пілотний Data Mart? Недоліки Datamart та відмінності між Data Warehouse та Data Mart.

Data Mart в ETL

Цільова аудиторія

  • Розробники та тестувальники сховища даних / ETL.
  • Фахівці з баз даних, що володіють базовими знаннями понять баз даних.
  • Адміністратори баз даних / експерти з великих даних, які хочуть зрозуміти концепції сховища даних / ETL.
  • Випускники коледжів / курси підвищення кваліфікації, які шукають роботу зі сховищем даних.

Що ви дізнаєтесь:

Що таке Data Mart?

Маркетинг даних - це невелика частина сховища даних, яка в основному пов’язана з певним доменом бізнесу, як маркетинг (або) продаж тощо

Дані, що зберігаються в системі DW, величезні, тому маркери даних розроблені з підмножиною даних, що належить окремим підрозділам. Таким чином, певна група користувачів може легко використовувати ці дані для свого аналізу.

На відміну від сховища даних, яке має безліч комбінацій користувачів, кожен маркер даних матиме певний набір кінцевих користувачів. Менша кількість кінцевих користувачів призводить до кращого часу відгуку.

Матриці даних також доступні для інструментів бізнес-аналітики (BI). Маркери даних не містять повторених (або) невикористаних даних. Вони оновлюються через рівні проміжки часу. Вони є предметно-орієнтованими та гнучкими базами даних. Кожна команда має право розробляти та підтримувати свої таблиці даних, не змінюючи сховище даних (або) інших даних, що містяться в даних.

Маршрутизатор даних більше підходить для малого бізнесу, оскільки коштує значно менше, ніж система зберігання даних. Час, необхідний для побудови даних, також менший, ніж час, необхідний для побудови сховища даних.

Ілюстративне представлення множинних даних:

Березень кількох даних

Коли нам потрібні дані Mart?

Виходячи з необхідності, сплануйте та розробіть інформаційну систему для вашого відділу, залучивши зацікавлені сторони, оскільки операційні витрати на інформаційну систему можуть бути високими в рази.

Розглянемо наведені нижче причини для побудови даних:

  • Якщо ви хочете розділити дані за допомогою набору стратегій контролю доступу користувачів.
  • Якщо конкретний відділ хоче бачити результати запиту набагато швидше, замість того, щоб сканувати величезні дані DW.
  • Якщо департамент хоче, щоб дані були побудовані на інших апаратних (або) програмних платформах.
  • Якщо департамент хоче, щоб дані розроблялись таким чином, щоб відповідати його інструментам.

Економічні дані Mart

Економічно ефективний маркер даних можна створити за допомогою наступних кроків:

  • Визначте функціональні розбиття: Розділіть дані організації на кожну конкретну інформацію, що відповідає її вимогам, без будь-якої подальшої організаційної залежності.
  • Визначте вимоги до інструменту доступу користувачів: На ринку можуть існувати різні засоби доступу користувачів, які потребують різних структур даних. Маркери даних використовуються для підтримки всіх цих внутрішніх структур, не порушуючи дані DW. Один маркер даних може бути пов’язаний з одним інструментом відповідно до потреб користувача. Маркери даних можуть також надавати оновлені дані таким інструментам щодня.
  • Визначте проблеми контролю доступу: Якщо різні сегменти даних у системі DW потребують конфіденційності та мають доступ до набору авторизованих користувачів, тоді всі такі дані можуть бути переміщені в області даних.

Вартість даних Mart

Вартість даних mart може бути оцінена наступним чином:

  • Вартість обладнання та програмного забезпечення: Будь-якому нещодавно доданому мартеру даних може знадобитися додаткове обладнання, програмне забезпечення, обчислювальна потужність, мережа та дисковий простір для роботи з запитами, запитаними кінцевими користувачами. Це робить мартування даних дорогою стратегією. Отже, бюджет повинен бути точно спланований.
  • Доступ до мережі: Якщо місце зберігання даних відрізняється від розташування сховища даних, тоді всі дані повинні бути передані в процесі завантаження даних. Таким чином, слід забезпечити мережу для передачі величезних обсягів даних, які можуть бути дорогими.
  • Обмеження часового вікна: Час, необхідний для процесу завантаження даних, буде залежати від різних факторів, таких як складність та обсяги даних, пропускна здатність мережі, механізми передачі даних тощо.

Порівняння сховища даних проти даних Mart

С.Ні Інформаційне сховище Дані Март
одинСкладний та дорожчий у реалізації.Простий і дешевший у реалізації.
дваПрацює на рівні організації для всього бізнесу.Сфера дії обмежена певним відділом.
3Запит DW важкий для бізнес-користувачів через величезну залежність даних.Запит даних даних легко для бізнес-користувачів через обмеженість даних.
4Час впровадження може бути більше місяців або років.Час реалізації менше, може бути в днях, тижнях або місяцях.
5Збирає дані з різних зовнішніх вихідних систем.Збирає дані з декількох централізованих систем DW (або) внутрішніх (або) зовнішніх джерел.
6Можна приймати стратегічні рішення.Можна приймати ділові рішення.

Типи маркувань даних

Марти даних класифікуються на три типи, тобто залежні, незалежні та гібридні. Ця класифікація базується на тому, як вони були заповнені, тобто або зі сховища даних (або) з будь-яких інших джерел даних.

typecast char до рядка c ++

Вилучення, перетворення та транспортування (ETT) - це процес, який використовується для заповнення даних даних із будь-яких вихідних систем.

Давайте розглянемо кожен тип детально !!

# 1) Залежні дані Mart

У залежній системі даних дані надходять із самого існуючого сховища даних. Це підхід зверху вниз, оскільки частина реструктуризованих даних у маркет даних витягується із централізованого сховища даних.

Маркер даних може використовувати дані DW як логічно, так і фізично, як показано нижче:

  • Логічний вигляд: У цьому випадку дані data mart фізично не відокремлюються від DW. Він посилається на дані DW через віртуальні подання (або) таблиці логічно.
  • Фізична підмножина: У цьому випадку дані data mart фізично відокремлюються від DW.

Після розробки одного або декількох мартерів даних ви можете дозволити користувачам доступ лише до мартерів даних (або) для доступу як до мартерів даних, так і до сховищ даних.

ETT - це спрощений процес у випадку залежних мартів даних, оскільки корисні дані вже існують у централізованому DW. Точний набір узагальнених даних слід просто перемістити до відповідних знаків даних.

Зображення залежних даних Mart показано нижче :

Залежні дані Mart

# 2) Незалежні дані Mart

Незалежна торгова марка даних найкраще підходить для невеликих підрозділів організації. Тут дані не надходять із існуючого сховища даних. Незалежний маркер даних не залежить ні від DW підприємства, ні від інших мартів даних.

Незалежні маркери даних - це окремі системи, де дані витягуються, трансформуються та завантажуються із зовнішніх (або) внутрішніх джерел даних. Їх легко спроектувати та обслуговувати, доки вони не забезпечать простих потреб бізнесу.

Ви повинні працювати з кожною фазою процесу ETT у випадку незалежних мартерів даних, аналогічно тому, як дані обробляються в централізований DW. Однак кількість джерел та даних, заповнених на полях даних, може бути меншою.

Живописне зображення незалежного даного маршу :

Незалежний Datamart

# 3) Гібридні дані Mart

У гібридному марші даних дані інтегруються як з DW, так і з інших операційних систем. Гібридні маркери даних гнучкі з великими структурами зберігання. Це також може посилатися на інші дані мартових даних.

Ілюстраційне представлення гібридного Data Mart:

Гібридні дані

Етапи впровадження Data Mart

Впровадження Data Mart, яке вважається дещо складним, пояснюється на наступних етапах:

  • Проектування: Оскільки бізнес-користувачі вимагають проведення даних, фаза проектування передбачає збір вимог, створення відповідних даних із відповідних джерел даних, створення логічних та фізичних структур даних та діаграм ER.
  • Побудова: Команда розробляє всі таблиці, подання, індекси тощо в системі data mart.
  • Населення: Дані будуть витягнуті, перетворені та завантажені в маркер даних разом із метаданими.
  • Доступ: Дані Data Mart доступні для доступу кінцевим користувачам. Вони можуть запитувати дані для їх аналізу та звітів.
  • Управління: Це включає різні управлінські завдання, такі як управління доступом користувачів, точне налаштування продуктивності даних, підтримка існуючих даних даних та створення сценаріїв відновлення даних на випадок, якщо система вийде з ладу.

Структура Data Mart

Структура кожного маршу даних створюється відповідно до вимог. Структури даних Mart називаються зоряними об'єднаннями. Ця структура буде відрізнятися в залежності від даних.

Зіркові об’єднання - це багатовимірні структури, які утворюються з таблицями фактів та вимірів для підтримки великих обсягів даних. Зіркове об’єднання матиме таблицю фактів у центрі, оточену таблицями розмірностей.

Дані таблиці відповідних фактів пов'язані з даними таблиць розмірностей із посиланням на зовнішній ключ. Таблиця фактів може бути оточена таблицями розмірів 20-30.

Подібно до системи DW, і в зіркових об'єднаннях таблиці фактів містять лише числові дані, а відповідні текстові дані можуть бути описані в таблицях розмірів. Ця структура нагадує схему зірок у DW.

Живописне зображення зіркової структури.

Структура з’єднання зірок

Але детальні дані централізованого DW є базою для будь-яких даних даних. Для нормалізованих даних DW буде проведено багато розрахунків, щоб перетворити їх на багатовимірні дані, що зберігаються у вигляді кубів.

Це працює подібно до того, як дані зі старих вихідних систем перетворюються на нормалізовані дані DW.

Коли корисний пілотний аналіз даних?

Пілот можна розгорнути в невеликому середовищі з обмеженою кількістю користувачів, щоб переконатися, що розгортання було успішним до повноцінного розгортання. Однак це не завжди важливо. Пілотні розгортання не будуть корисними після досягнення цілі.

Потрібно розглянути наведені нижче сценарії, які рекомендують для пілотного розгортання:

  • Якщо кінцеві користувачі є новими в системі сховища даних.
  • Якщо кінцеві користувачі хочуть почуватись комфортно самостійно отримувати дані / звіти перед початком виробництва.
  • Якщо кінцеві користувачі хочуть ознайомитись із найновішими інструментами (або) технологіями.
  • Якщо керівництво хоче розглянути переваги як доказ концепції, перш ніж робити це як великий випуск.
  • Якщо команда хоче, якщо забезпечити, щоб усі компоненти ETL (або) компоненти інфраструктури працювали добре до випуску.

Недоліки даних Mart

Незважаючи на те, що дані мають деякі переваги перед DW, вони також мають деякі недоліки, як пояснено нижче:

  • Створені небажані файли даних важко підтримувати.
  • Маркери даних призначені для потреб малого бізнесу. Збільшення розміру мартерів даних зменшить його продуктивність.
  • Якщо ви створюєте більшу кількість записів даних, тоді керівництву слід належним чином подбати про їх версій, безпеку та продуктивність.
  • Марки даних можуть містити історичні (або) узагальнені (або) докладні дані. Однак оновлення даних DW та даних mart data може не відбуватися одночасно через проблеми невідповідності даних.

Висновок

Багато організацій готуються до даних з точки зору економії коштів. Отже, цей підручник зосереджений на технічних аспектах систем даних у системі зберігання даних.

oops концепції в c # з прикладами

Метадані в ETL детально пояснюються в нашому майбутньому підручнику.

=> Завітайте сюди, щоб ознайомитись із серіями навчальних програм зі зберігання даних для всіх.

Рекомендована література

^