Możliwości i Funkcje Nowoczesnej Hurtowni Danych – Business Intelligence

Wymagania kierowane wobec Business Intelligence

Oczekiwania w zakresie Business Intelligence najczęściej rozpoczynają się od potrzeby uzyskania kilku nieskomplikowanych raportów, analiz bądź pulpitów. Jednak, aby odpowiednio zaadresować takie potrzeby, należy zadać sobie pytanie, jakimi danymi źródłowymi dysponujemy, czy wymagają one przekształceń, dodatkowych przeliczeń, odpowiedniego ułożenia w struktury faktów, wymiarów.

Najprostszy przypadek, jaki można sobie wyobrazić to dane źródłowe w postaci pojedynczej tabeli, która zawiera wszystkie miary oraz atrybuty wg. których chcemy je analizować, do tego opisane w przyjaznej dla użytkowników końcowych formie. Taka sytuacja ma miejsce, gdy mówimy o systemie źródłowym, który udostępnia odpowiednio przygotowane dane i najlepiej, jeżeli jest zintegrowany z aplikacją BI, np. w postaci osadzonych obiektów analitycznych.

Jednak w rzeczywistym świecie okazuje się, że zarówno potrzeby biznesowe dot. raportów, analiz oraz kokpitów, jak i złożoność i dostępność danych źródłowych są znacznie bardziej skomplikowane. Często potrzeby biznesowe wymagają łączenia danych z różnych obszarów działalności, odpowiedniego przetwarzania tych danych, przeliczania, ułożenia w struktury wymiarów i faktów. Do tego dochodzi potrzeba łączenia danych z kilku lokalizacji, np. w przypadku przedsiębiorstw wielooddziałowych, międzynarodowych. W takich sytuacjach bardzo szybko pojawia się potrzeba zbudowania hurtowni danych.

Wdrożenie lokalne On-premises

Scenariusz 1.

Firma posiada dane źródłowe oraz hurtownię danych w swojej infrastrukturze lokalnej, natomiast do warstwy prezentacji danych chce wykorzystać usługi chmurowe Microsoft Power BI.

W takim przypadku z pomocą przychodzi lokalna brama danych (On-premises data gateway).

Lokalna brama danych pozwala na zestawienie pomostu między lokalną hurtownia danych a usługą chmurową Power BI. Pozwala ona na zestawienie połączenia do baz relacyjnych SQL lub modeli wielowymiarowych SQL Analysis Services, ale również do innych źródeł danych, np. plików, SharePoint.

 

 

Wdrożenie w Cloud

Scenariusz 2.

Dane źródłowe znajdują się w systemach lokalnych, natomiast my chcemy zbudować hurtownię danych oraz warstwę prezentacji danych w oparciu o nowoczesne rozwiązania chmurowe Microsoft. Możemy wykorzystać ten sam mechanizm lokalnej bramy danych do połączenia do systemów źródłowych. Jednak do składowania i przetwarzania danych wykorzystamy komponenty w postaci usług chmurowych Microsoft.

Główne korzyści nowoczesnych hurtowni danych w chmurze: 

• Niski całkowity koszt posiadania.
• Zwiększona szybkość i wydajność działania.
• Bezproblemowe możliwości samoobsługi dla użytkowników biznesowych.
• Bardziej bezpieczne dane.
• Zwiększona przestrzeń przechowywania danych.
• Lepszy dostęp i integracja.
• Lepsze odzyskiwanie po awarii.

 

Przebieg wdrożenia

Kluczowe usługi chmurowe Microsoft, użyte do stworzenia nowoczesnej hurtowni danych:

• Azure Blob storage
• Data Factory
• Azure Synapse Analytics
• Azure Analysis Services
• oraz Power BI dla warstwy prezentacji danych.

Przepływ danych w scenariuszu drugim:

• Dane źródłowe, aktualizacje danych są okresowo eksportowane do usługi Azure Blob Storage.
• Następnie dane są przetwarzane, oczyszczane i ładowane przy pomocy Data Factory do Azure Synaps Analytics.
• Po załadowaniu danych do hurtowni danych następuje odświeżanie modelu tabularycznego w Azure Analysis Services

Jeżeli mamy do czynienia wyłącznie z ustrukturyzowanymi danymi w postaci tabel, można pominąć Blob Storage i zastąpić go, przez usługę bazy danych. Taka struktura również sprawdzi się w sytuacji, kiedy jesteśmy firmą wielooddziałową, gdzie dane źródłowe znajdują się w wielu lokalizacjach. W takim przypadku wykorzystamy usługi Data Factory do obsłużenia procesów importu danych z poszczególnych lokalizacji do Data Lake.

 

Wdrożenie w Cloud i Machine Learning

Scenariusz 3.

Usługi chmurowe oferują bardzo szerokie możliwości wykorzystania gotowych komponentów do zbudowania potrzebnego rozwiązania. W tym scenariuszu wzbogacimy naszą hurtownię danych o mechanizmy uczenia maszynowego wykorzystując usługi Apache Spark.

 

 

Przepływ danych w scenariuszu trzecim:

• Dane źródłowe w postaci zarówno danych ustrukturyzowanych jak i nieustrukturyzowanych pobierane są przy pomocy Synaps Pipeline do usługi Azure Data Lake Storage
• Przy pomocy pul Apache Spark dane zostają oczyszczone i przekształcone do ustrukturyzowanej formy hurtowni danych
• Korzystając z języka z Python, Scala lub .Net w środowisku notatników puli Apache Spark mamy możliwość wykorzystania technik uczenia maszynowego, aby przygotować i uruchomić proces uczenia na modelu danych
• Następnie potokami Synaps Pipeline, dane są przenoszone do modelu analitycznego
• Analizowanie, raportowanie modelu danych odbywa się w usłudze Power BI (Business Intelligence)

 

Więcej informacji na temat wykorzystanych usług chmurowych Microsoft 

• Azure Synapse Analytics to szybki, elastyczny i zaufany magazyn danych w chmurze, który umożliwia elastyczne i niezależne skalowanie, przetwarzanie oraz przechowywanie w sposób elastyczny i niezależny dzięki architekturze masowego przetwarzania równoległego.
• Dokumentacja usługi Synapse Pipelines umożliwia tworzenie, planowanie i organizowanie przepływów pracy ETL/ELT.
• Usługa Azure Blob Storage to wysoce skalowalny magazyn obiektów dla dowolnego typu nieustrukturyzowanych obrazów danych, wideo, audio, dokumentów oraz łatwiej i ekonomiczniej.
• Azure Synapse Analytics Spark to platforma przetwarzania równoległego, która obsługuje przetwarzanie w pamięci w celu zwiększenia wydajności aplikacji do analiz danych big data.
• Azure Analysis Services to analiza klasy korporacyjnej jako usługa, która umożliwia zarządzanie, wdrażanie, testowanie i dostarczanie rozwiązania analizy biznesowej z pewnością.
• Power BI to zestaw narzędzi do analizy biznesowej, które zapewniają szczegółowe informacje w całej organizacji. Połączenie do setek źródeł danych, uprościć wstępne dane i prowadzić analizę ad hoc. Twórz piękne raporty, a następnie publikuj je dla swojej organizacji, aby korzystać z nich w Internecie i na urządzeniach przenośnych.

Źródło:  <https://docs.microsoft.com/pl-pl/azure/architecture/solution-ideas/articles/enterprise-data-warehouse>