data warehousing fundamentals
Дізнайтеся все про основи зберігання даних. Цей поглиблений посібник пояснює, що таке зберігання даних, а також їх типи, характеристики, достоїнства та недоліки:
Сховище даних - це остання тенденція зберігання даних у сучасній ІТ-галузі.
Цей підручник роз’яснить, що таке сховище даних? Чому зберігання даних має вирішальне значення? Типи програм зберігання даних, характеристики сховища даних, переваги та недоліки зберігання даних.
Список навчальних посібників зі зберігання даних у цій серії:
Підручник No1: Основи зберігання даних
Підручник No2: Що таке процес ETL у сховищі даних?
Підручник No3: Тестування сховища даних
Підручник No4: Розмірна модель даних у сховищі даних
Підручник No5: Типи схем у моделюванні сховища даних
Підручник No6: Підручник з Data Mart
Підручник No7: Метадані в ETL
Огляд підручників у цій серії зберігання даних
| Підручник_Num | Що ви дізнаєтесь |
|---|---|
| Підручник No7 | Метадані в ETL Цей підручник пояснює роль метаданих у ETL, приклади та типи метаданих, сховище метаданих та проблеми управління метаданими. |
| Підручник No1 | Основи зберігання даних Дізнайтеся все про концепції зберігання даних із цього посібника. Цей поглиблений посібник пояснює, що таке зберігання даних, а також його типи, характеристики, достоїнства та недоліки. |
| Підручник No2 | Що таке процес ETL у сховищі даних? У цьому поглибленому навчальному посібнику про процес ETL пояснюється процес і кроки процесу, задіяні в процесі ETL (вилучення, перетворення та завантаження) у сховищі даних. |
| Підручник No3 | Тестування сховища даних Цілі та значення тестування сховища даних, відповідальність за тестування ETL, помилки в DW та розгортання ETL детально в цьому посібнику. |
| Підручник No4 | Розмірна модель даних у сховищі даних Цей посібник пояснює переваги та міфи мірної моделі даних у сховищі даних. Ви також дізнаєтесь про розмірні таблиці та таблиці фактів із прикладами. |
| Підручник No5 | Типи схем у моделюванні сховища даних Цей посібник пояснює різні типи схем сховища даних. Дізнайтеся, що таке схема зірок та сніжинок та різниця між схемою зірка та сніжинка. |
| Підручник No6 | Підручник з Data Mart Цей посібник пояснює поняття Data Mart, включаючи реалізацію Data Mart, типи, структуру, а також різницю між сховищем даних проти Data Mart. |
Що ви дізнаєтесь:
Основи зберігання даних: повний посібник
Цільова аудиторія
- Розробники та тестувальники сховища даних / ETL.
- Фахівці з баз даних, що володіють базовими знаннями понять баз даних.
- Адміністратори баз даних / експерти з великих даних, які хочуть зрозуміти концепції зберігання даних.
- Випускники коледжів / курси підвищення кваліфікації, які шукають роботу зі сховищами даних.
Що таке зберігання даних?
Склад даних (DW) - це сховище величезної кількості організованих даних. Ці дані об’єднуються з одного або декількох різних джерел даних. DW - це реляційна база даних, яка в основному призначена для аналітичної звітності та своєчасного прийняття рішень в організаціях.
Дані для цього виділяються та оптимізуються з вихідних даних транзакцій, що не матиме жодного впливу на основний бізнес. Якщо організація запроваджує будь-які зміни в бізнесі, то DW використовується для вивчення наслідків цих змін, а отже, DW також використовується для моніторингу процесу прийняття рішень.
Сховище даних - це в основному система лише для читання, оскільки оперативні дані дуже відокремлені від DW. Це забезпечує середовище для отримання найбільшого обсягу даних з хорошим написанням запитів.
Таким чином, DW буде виконувати функції внутрішнього механізму для інструментів бізнес-аналітики, який відображає звіти та інформаційні панелі для бізнес-користувачів. DW широко використовується у банківському, фінансовому, роздрібному секторах тощо.
Чому зберігання даних має вирішальне значення?
Нижче наведено деякі причини, з яких сховище даних має вирішальне значення.
які всі сайти електронної пошти
- Склад даних збирає всі оперативні дані з декількох різнорідних джерел 'різних форматів', і через процес вилучення, перетворення та завантаження (ETL) він завантажує дані у DW у 'стандартизованому розмірному форматі' в організації.
- У сховищі даних зберігаються „поточні дані та історичні дані” для аналітичної звітності та прийняття рішень на основі фактів.
- Це допомагає організаціям приймати 'розумніші та швидкі рішення' щодо зменшення витрат та збільшення доходу шляхом порівняння квартальних та річних звітів для покращення їх роботи.
Типи програм для зберігання даних
Business Intelligence (BI) - це розділ зберігання даних, призначений для прийняття рішень. Після завантаження даних у DW BI відіграє важливу роль, аналізуючи дані та представляючи їх діловим користувачам.
На практиці термін «програми для зберігання даних» передбачає, скільки різних типів даних можна обробляти та використовувати.
Ми маємо три типи DW-додатків, як зазначено нижче.
- Інформація обробляється
- Аналітична обробка
- Видобуток даних, який служить для цілей BI
# 1) Обробка інформації
Це свого роду додаток, де сховище даних дозволяє безпосередньо контактувати один із збереженими в ньому даними.
Оскільки дані можуть бути оброблені шляхом написання прямих запитів до даних (або) з базовим статистичним аналізом даних, а кінцеві результати будуть повідомлятися діловим користувачам у вигляді звітів, таблиць, діаграм або графіків.
DW підтримує такі інструменти для обробки інформації:
(i) Інструменти запитів: Бізнес (або) аналітик виконує запити, використовуючи інструменти запитів, щоб дослідити дані та генерувати результати у формі звітів чи графічних зображень відповідно до вимог бізнесу.
(ii) Інструменти звітування: Якщо компанія хоче бачити результати у будь-якому визначеному форматі та за розкладом, тобто щодня, щотижня або щомісяця, тоді будуть використовуватися інструменти звітування. Такі звіти можна зберігати та переглядати в будь-який час.
(iii) Інструменти статистики: Якщо бізнес хоче провести аналіз широкого перегляду даних, тоді для отримання таких результатів будуть використані інструменти статистики. Підприємства можуть робити висновки та прогнози, розуміючи ці стратегічні результати.
# 2) Аналітична обробка
Це свого роду програма, де сховище даних дозволяє аналітичну обробку даних, що зберігаються в ньому. Дані можна проаналізувати за допомогою таких операцій, як нарізка та кістки, деталізація, згортання та обертання.
запитання та відповіді на швидке тестування співбесіди
(i) Нарізати кістки : Склад даних дозволяє операціям нарізки і кістки аналізувати дані, до яких здійснюється доступ з багатьох рівнів, із комбінацією різних точок зору. Операція нарізки та кістки внутрішньо використовує механізм деталізації. Нарізка працює над розмірними даними.
Як частина бізнес-вимоги, якщо ми зосередимося на одній площі, то нарізка аналізує розміри цієї конкретної області відповідно до вимог і дає результати. Працювання кубиків на аналітичних операціях. Масштабування кубиками для певного набору атрибутів по всіх вимірах забезпечує різноманітні перспективи. Розміри враховуються з одного або декількох послідовних фрагментів.
(ii) Розгорнути : Якщо компанія хоче перейти на більш детальний рівень будь-якого підсумкового номера, то деталізація - це операція для переходу до цього зведення до незначних детальних рівнів. Це дає прекрасне уявлення про те, що відбувається, і де бізнес повинен бути більш сфокусований.
Розбивайте доріжки від рівня ієрархії до незначного рівня деталізації для аналізу основної причини. Це можна легко зрозуміти на прикладі, оскільки може відбутися деталізація продажів Рівень країни -> Рівень регіону -> Рівень штату -> Рівень району -> Рівень магазину.
(iii) Згорнути : Згорнути роботи, протилежні операції деталізації. Якщо бізнес хоче отримати будь-які узагальнені дані, тоді з’являється зведення. Він агрегує дані рівня деталізації, рухаючись вгору по розмірній ієрархії.
Зведення використовуються для аналізу розвитку та ефективності системи.
Це можна зрозуміти за допомогою Приклад як при збитті продажів, де загальні суми можна згорнути Рівень міста -> Державного рівня -> Рівень регіону -> Рівень країни .
(iv) Поворот : Поворот аналізу даних розмірностей шляхом обертання даних на кубах. Наприклад, розмір рядка можна поміняти на розмір стовпця і навпаки.
# 3) Видобуток даних
Це свого роду додаток, де сховище даних дозволяє виявити знання даних, а результати будуть представлені за допомогою інструментів візуалізації. У вищезазначених двох типах програм інформація може керуватися користувачами.
Оскільки даних є багато в різних бізнесах, важко здійснити запит і детально розгорнути сховище даних, щоб отримати всі можливі уявлення про дані. Потім у картині з’являється пошук даних для досягнення знань.
Це залучає дані до всіх минулих асоціацій, результатів тощо та передбачає майбутнє. Отже, це керується даними, а не користувачем. Дані можна виявити, знаходячи приховані закономірності, асоціації, класифікації та прогнози.
Видобуток даних поглиблюється разом із даними, щоб передбачити майбутнє. Спираючись на прогнози, він також пропонує дії, які слід вжити.
Нижче наведено різні види діяльності з видобутку даних:
- Візерунки: Видобуток даних виявляє закономірності, що трапляються в базі даних. Користувачі можуть надати вхідні дані для бізнесу, на яких очікується певне знання закономірностей для прийняття рішень.
- Асоціації / Відносини: Видобуток даних виявляє взаємозв'язки між об'єктами з частотою їх правил асоціації. Цей зв'язок може бути між двома або більше об'єктами (або) він може виявити правила в межах властивостей одного і того ж об'єкта.
- Класифікація: Видобуток даних організовує дані у наборі заздалегідь визначених класів. Отже, якщо будь-який об’єкт вибирається з даних, класифікація пов’язує відповідну мітку класу з цим об’єктом.
- Прогноз: Видобуток даних порівнює набір існуючих значень, щоб знайти найкращі можливі майбутні цінності / тенденції у бізнесі.
Отже, виходячи з усіх вищезазначених результатів, аналіз даних також пропонує набір дій, які слід вжити.
Характеристика сховища даних
Сховище даних побудовано на основі таких характеристик даних, як Тематично орієнтований, Інтегрований, Енергонезалежний та Часовий варіант.
# 1) Тематично орієнтований: Ми можемо визначити сховище даних як предметно-орієнтоване, оскільки можемо аналізувати дані щодо конкретної предметної області, а не застосовувати розумні дані. Це забезпечує результати, які є більш визначеними для легкого прийняття рішень. Що стосується системи освіти, предметними областями можуть бути студенти, предмети, оцінки, викладачі тощо.
# 2) Інтегрований: Дані в сховищі даних інтегровані з різних джерел, таких як інші реляційні бази даних, плоскі файли тощо. Такий величезний обсяг даних отримується для ефективного аналізу даних. Але можуть виникати конфлікти даних, оскільки різні джерела даних можуть мати різні формати. Сховище даних передає всі ці дані у єдиному форматі по всій системі.
# 3) Нелеткі: Після завантаження даних у сховище даних їх змінити не можна. Логічно це прийнятно, оскільки часта зміна даних не дозволить вам проаналізувати дані. Часті зміни в оперативній базі даних можна завантажувати до сховища даних за розкладом, під час цього процесу додаються нові дані, однак попередні дані не стираються, і вони залишаються як історичні дані.
# 4) Варіант часу: Усі історичні дані разом із останніми даними у сховищі даних відіграють вирішальну роль для отримання даних будь-якої тривалості часу. Якщо компанія хоче отримати звіти, графіки тощо, то для порівняння з попередніми роками та аналізу тенденцій потрібні всі старі дані, яким 6 місяців, 1-річні чи навіть старіші дані тощо.
Переваги сховища даних
Коли система зберігання даних продуктивна, організація отримує такі переваги, використовуючи її:
- Покращений бізнес-аналіз
- Підвищення продуктивності системи та запитів
- Бізнес-аналітика з кількох джерел
- Своєчасний доступ до даних
- Покращена якість та послідовність даних
- Історичний інтелект
- Висока рентабельність інвестицій
# 1) Розширений бізнес-аналіз: У попередні дні, коли не було зберігання даних та бізнес-аналітики, бізнес-користувачі та аналітики приймали рішення з обмеженим обсягом даних та з власними відчуттями.
DW & BI внесли зміни, давши уявлення про реальні факти та дані про реальну організацію, які збираються протягом певного періоду. Бізнес-користувачі можуть безпосередньо запитувати будь-які дані бізнес-процесів, такі як маркетинг, фінанси, продажі тощо, виходячи зі своїх потреб у прийнятті стратегічних рішень та розумних бізнес-рішень.
# 2) Підвищення продуктивності системи та запитів: Зберігання даних збирає об’ємну інформацію з неоднорідних систем і розміщує її в одній системі, так що для швидкого пошуку даних можна використовувати один механізм запитів.
# 3) Бізнес-аналітика з кількох джерел: Чи знаєте ви, як Business Intelligence зазвичай працює з даними? Він поглинає дані з декількох систем, підсистем, платформ та джерел даних для роботи над проектом. Однак сховище даних вирішує цю проблему для BI, консолідуючи всі дані проекту без дублікатів.
# 4) Своєчасний доступ до даних: Бізнес-користувачі отримають вигоду, витрачаючи менше часу на пошук даних. Вони мають деякі зручні інструменти, за допомогою яких вони можуть запитувати дані з мінімальними технічними знаннями та створювати звіти. Це змушує бізнес-користувачів витрачати достатньо часу на аналіз даних, а не на збір даних.
# 5) Покращена якість та узгодженість даних: Складування даних перетворює дані з різними форматами вихідних систем в єдиний формат. Отже, можливо, ті самі підрозділи, які постачають дані до сховища даних, можуть повторно використовувати сховище DW для своїх бізнес-звітів та запитів.
Отже, з точки зору організації, всі бізнес-підрозділи залишатимуться на стороні з незмінними результатами / звітами. Таким чином, ці якісні та послідовні дані допомагають вести успішний бізнес.
# 6) Історичний інтелект: У сховищі даних зберігаються всі історичні дані, які не підтримуються жодною транзакційною системою. Ця велика кількість даних використовується для аналізу даних протягом певного періоду часу та для їх звітності, а також для аналізу тенденцій для прогнозування майбутнього.
# 7) Висока рентабельність інвестицій (ROI): Хто починає бізнес, очікуючи хорошої віддачі від інвестицій, з точки зору більших прибутків та менших витрат. У реальному світі даних багато досліджень довели, що впровадження системи зберігання даних та систем бізнес-аналітики призвело до високих доходів та економії витрат.
На даний момент ви вже мали змогу зрозуміти, як добре розроблена система DW додає переваг вашому бізнесу.
Недоліки зберігання даних
Хоча це дуже успішна система, добре знати деякі підводні камені в системі:
- Створення сховища даних - це, безумовно, трудомісткий і складний процес.
- Вартість технічного обслуговування велика, оскільки система потребує постійного оновлення. Він також може збільшитися, якщо він не використовується належним чином.
- Розробники, тестувальники та користувачі повинні пройти належну підготовку, щоб зрозуміти систему DW та застосувати її технічно.
- Можуть бути конфіденційні дані, які неможливо завантажити в DW для прийняття рішень.
- Реструктуризація будь-яких бізнес-процесів (або) вихідних систем має великий вплив на DW.
Висновок
Ми сподіваємось, що цей вступний підручник забезпечив основи основ зберігання даних. Ми глибоко розглянули всі основні поняття Складування даних.
У цьому вичерпному навчальному посібнику ми дізналися про визначення, типи, характеристики, переваги та недоліки Складування даних.
конвертувати відео з YouTube на mp4 онлайн безкоштовно
=> Прочитайте серію навчальних програм з легкого зберігання даних.
Рекомендована література
- Приклади інтелектуального аналізу даних: Найпоширеніші програми інтелектуального аналізу даних 2021
- Як працює тестування на основі даних (приклади QTP та селену)
- Видобуток даних: процес, методи та основні проблеми аналізу даних
- Підручник з тестування сховища даних ETL (повний посібник)
- Найкращий БЕЗКОШТОВНИЙ підручник з C #: Остаточний посібник для C # для початківців
- Підручник з комп’ютерних мереж: Остаточний посібник
- Підручник з QTP # 18 - Управління даними та гібридні фреймворки, пояснені на прикладах QTP
- 10+ найкращих інструментів збору даних із стратегіями збору даних