1000 osób każdego dnia jest zaangażowanych w T-Mobile Polska w przetwarzanie i analizę danych. O tym jak wygląda codzienna praca osób specjalistów od danych i z jakich narzędzi korzysta organizacja rozmawialiśmy podczas czwartej edycji Let’s Manage & T-Mobile Online Meetup.
Każdego dnia firmy przetwarzają ogromne ilości danych i mierzą się z ich porządkowaniem oraz analizą. Równie ważne jest dopasowanie się do potrzeb danej organizacji i obserwacja tego co robią inne serwisy źródłowe, jakie dane będą przekazywać i w jakim formacie.
Nadrzędnym celem osób odpowiedzialnych za zarządzanie big data jest sprawne i skutecznie działanie tak, aby biznes czerpał z niej jak najwięcej korzyści.
Od ponad dekady zbiory danych odgrywają znaczącą rolę w trakcie pozyskiwania wartościowych informacji biznesowych wytwarzany w firmowych ekosystemach. James Dixon, ówczesny CTO firmy Pentaho jako pierwszy określił je mianem Data Lakes.
James Dixon: W przeszłości standardowym sposobem obsługi raportowania i analizy danych było zidentyfikowanie najciekawszych atrybutów i zebranie ich w zbiorczej bazie danych. Jeśli myślisz o zbiorczej bazie danych jako o magazynie wody butelkowanej - oczyszczonej, zapakowanej i zorganizowanej w celu łatwego spożycia - jezioro danych to duży zbiornik wodny w bardziej naturalnym stanie. Zawartość Data Lake napływa ze źródła, aby wypełnić jezioro, a różni użytkownicy jeziora mogą przyjść, aby je zbadać, zanurkować lub pobrać próbki.
Hurtownia danych w T-Mobile powstała w ciągu ostatnich 20 lat. W tym czasie firma przeszła szereg zmian i restrukturyzacji systemu zarządzania. Dziś ponad 1000 osób pracujących w nowych strukturach mierzy się z codziennie ze zrozumieniem potrzeb, gromadzeniem i przetwarzaniem danych, aby wspomóc firmę m.in. w sprzedaży produktów, tworzeniu nowych usług, monitorowaniu jakości sieci czy szybkim reagowaniu na zmiany. Wszystkie czynności odbywają się na podstawie zbieranych każdego dnia informacji.
W trakcie webinaru na żywo Let’s Manage & T-Mobile Online Meetup #4 przeprowadziliśmy rozmowę z udziałem trzech osób pełniących rolę Data Scientist w T-Mobile Polska. Specjaliści opowiedzieli o zarządzaniu zbiorem danych w Data Lake na podstawie własnego doświadczenia.
W spotkaniu udział wzieli: Michał Obuchowicz, Tribe Technical Lead, Jakub Leś, Big Data Architect i Kamil Małachowski, Big Data Developer.
W trakcie webinaru goście podzielili się szczegółami odnośnie komponentów oraz architektury, która w T-Mobile daje możliwość realizacji zaawansowanych projektów wpływających na kluczowe procesy w firmie. Poruszyli zagadnienia, które mogą posłużyć nie tylko jako inspiracja, ale jako praktyczne wskazówki w zarządzaniu danymi.
Tematy poruszone w trakcie webinaru Let’s Manage & T-Mobile Online Meetup #4:
- Z jakich komponentów zbudowane są hurtownie danych w T-Mobile?
- Z jakich narzędzi analitycznych i raportowania korzysta firma?
- Z jakich mikroserwisów zbudowane jest ich Data Lake, jak je integrują i do czego wykorzystują
- Jakie narzędzia stosuje T-Mobile w zakresie Data Governance i Data Quality?
- Jak zarządza kosztami tych usług?
- W jaki sposób określane są potrzeby organizacji i czy biorą w nich udział przedstawiciele biznesu?
- Hadoop ecosystem history - czym jest i jakie ma znaczenie w Big Data?
- Komunikacja miedzy Storage, a warstwami powyżej.
- Jak wygląda Cluster w Hortonworks z którego korzysta T-Mobile i jakie są zalety i wady tego systemu zarządzania. Jak wygląda kwestia dostępu do danych.
- Jakie możliwości daje Hive?
- W jaki sposób T-Mobile podchodzi do danych przychodzących z opóźnieniem do Hive?
- Jak przenieść dane z Kafka przez Spark do Hive?
- Jakie dane przetwarza T-Mobile? Z jakich komponentów składa się architektura danych?
- W jaki sposób działa i jak wygląda architektura monitoringu?
- Jakie są plany wdrożeniowe w zakresie Data Lake?
Jeśli któryś z tematów jest dla Ciebie szczególnie interesujący obejrzyj całe nagranie:
Z rozmowy dowiesz się również o co warto pytać specjalistów od danych, jak pandemia wpłynęła na ich pracę oraz jakie dalsze plany rozwojowe ma T-Mobile.
Jeśli zainteresowała Cię poruszana tutaj tematyka już dziś dołącz do naszej społeczności IT. Otrzymasz dostęp do zapisu wcześniejszych wywiadów i zasobów. Przede wszystkim jednak nawiążesz relacje z developerami, architektami oraz managerami IT, których praktyczna wiedza pomoże Ci w codziennej pracy.
Dołącz do naszej społeczności Managerów IT już dziś i rozwijaj swoje umiejętności pod okiem ekspertów. Szczegóły na platformie Let's Manage IT Online.
***
Jakie tematy chcesz, abyśmy poruszyli kolejnym razem?
Masz pomysł, sugestię, propozycję?
Napisz do Kasi Wiśniewskiej: katarzyna.wisniewska [AT] letsmanageit.pl
I już dziś zapisz się na kolejne spotkanie z cyklu Let’s Manage IT Live!
Let's Manage IT: 2023-04-27 10:48:45