Data lake - analiza i przetwarzanie danych w T-mobile

Każdego dnia firmy przetwarzają ogromne ilości danych i mierzą się z ich porządkowaniem oraz analizą. Równie ważne jest dopasowanie się do potrzeb danej organizacji i obserwacja tego co robią inne serwisy źródłowe, jakie dane będą przekazywać i w jakim formacie.  

Nadrzędnym celem osób odpowiedzialnych za zarządzanie big data jest sprawne i skutecznie działanie tak, aby biznes czerpał z niej jak najwięcej korzyści. 

Od ponad dekady zbiory danych odgrywają znaczącą rolę w trakcie pozyskiwania wartościowych informacji biznesowych wytwarzany w firmowych ekosystemach. James Dixon, ówczesny CTO firmy Pentaho jako pierwszy określił je mianem Data Lakes.

James Dixon: W przeszłości standardowym sposobem obsługi raportowania i analizy danych było zidentyfikowanie najciekawszych atrybutów i zebranie ich w zbiorczej bazie danych. Jeśli myślisz o zbiorczej bazie danych jako o magazynie wody butelkowanej - oczyszczonej, zapakowanej i zorganizowanej w celu łatwego spożycia - jezioro danych to duży zbiornik wodny w bardziej naturalnym stanie. Zawartość Data Lake napływa ze źródła, aby wypełnić jezioro, a różni użytkownicy jeziora mogą przyjść, aby je zbadać, zanurkować lub pobrać próbki.

Hurtownia danych w T-Mobile powstała w ciągu ostatnich 20 lat. W tym czasie firma przeszła szereg zmian i restrukturyzacji systemu zarządzania. Dziś ponad 1000 osób pracujących w nowych strukturach mierzy się z codziennie ze zrozumieniem potrzeb, gromadzeniem i przetwarzaniem danych, aby wspomóc firmę m.in. w sprzedaży produktów, tworzeniu nowych usług, monitorowaniu jakości sieci czy szybkim reagowaniu na zmiany.  Wszystkie czynności odbywają się na podstawie zbieranych każdego dnia informacji.  

W trakcie webinaru na żywo Let’s Manage & T-Mobile Online Meetup #4 przeprowadziliśmy rozmowę z udziałem trzech osób pełniących rolę Data Scientist w T-Mobile Polska. Specjaliści opowiedzieli o zarządzaniu zbiorem danych w Data Lake na podstawie własnego doświadczenia.

W spotkaniu udział wzieli: Michał Obuchowicz, Tribe Technical Lead,  Jakub Leś, Big Data Architect  i Kamil Małachowski, Big Data Developer.

W trakcie webinaru goście podzielili się szczegółami odnośnie komponentów oraz architektury, która w T-Mobile daje możliwość realizacji zaawansowanych projektów wpływających na kluczowe procesy w firmie. Poruszyli zagadnienia, które mogą posłużyć nie tylko jako inspiracja, ale jako praktyczne wskazówki w zarządzaniu danymi. 

 Tematy poruszone w trakcie webinaru Let’s Manage & T-Mobile Online Meetup #4:

1. Z jakich komponentów zbudowane są hurtownie danych w T-Mobile? 
2. Z jakich narzędzi analitycznych i raportowania korzysta firma?
3. Z jakich mikroserwisów zbudowane jest ich Data Lake, jak je integrują i do czego wykorzystują
4. Jakie narzędzia stosuje T-Mobile w zakresie Data Governance i Data Quality? 
5. Jak zarządza kosztami tych usług? 
6. W jaki sposób określane są potrzeby organizacji i czy biorą w nich udział przedstawiciele biznesu?
7. Hadoop ecosystem history -  czym jest i jakie ma znaczenie w Big Data?
8. Komunikacja miedzy Storage, a warstwami powyżej.
9. Jak wygląda Cluster w Hortonworks z którego korzysta T-Mobile i jakie są zalety i wady tego systemu zarządzania.  Jak wygląda kwestia dostępu do danych. 
10. Jakie możliwości daje Hive? 
11. W jaki sposób T-Mobile podchodzi do danych przychodzących z opóźnieniem do Hive?  
12. Jak przenieść dane z Kafka przez Spark do Hive? 
13. Jakie dane przetwarza T-Mobile? Z jakich komponentów składa się architektura danych? 
14. W jaki sposób działa i jak wygląda architektura monitoringu?
15. Jakie są plany wdrożeniowe w zakresie Data Lake?

Jeśli któryś z tematów jest dla Ciebie szczególnie interesujący obejrzyj całe nagranie:

Z rozmowy dowiesz się również o co warto pytać specjalistów od danych,  jak pandemia wpłynęła na ich pracę oraz jakie dalsze plany rozwojowe ma T-Mobile.

Jeśli zainteresowała Cię poruszana tutaj tematyka już dziś dołącz do naszej społeczności IT. Otrzymasz dostęp do zapisu wcześniejszych wywiadów i zasobów. Przede wszystkim jednak nawiążesz relacje z developerami, architektami oraz managerami IT, których praktyczna wiedza pomoże Ci w codziennej pracy. 

Dołącz do naszej społeczności Managerów IT już dziś i rozwijaj swoje umiejętności pod okiem ekspertów. Szczegóły na platformie Let's Manage IT Online.

***

Jakie tematy chcesz, abyśmy poruszyli kolejnym razem? 

Masz pomysł, sugestię, propozycję?

Napisz do Kasi Wiśniewskiej:  katarzyna.wisniewska [AT] letsmanageit.pl

I już dziś zapisz się na kolejne spotkanie z cyklu Let’s Manage IT Live!