Menu Zamknij

5 typów plików, z którymi spotkasz się pracując z danymi (OZDB #3)

W ostatnim wpisie serii Od Zera Do Bohatera omówiliśmy sobie jak podejść do tworzenia systemów przetwarzania danych. Wspomniałem tam, że przybliżę Ci różne źródła danych.

W tym wpisie skupmy się na plikach, bo bardzo często korzysta się z nich przy dostarczaniu danych, a wielokrotnie napotykałem przeróżne problemy z plikami, w których dostarczane są dane. Zarówno takie, które powodowały błędy podczas procesowania danych, jak po prostu schemat dostarczony wraz z plikami, kompletnie nie pomagał, aby dane zrozumieć.

Wyobraź sobie, że mamy taki diagram (model logiczny), który ma na celu zobrazować dane, które przetwarzamy:

Model logiczny

Wynika z niego, że mamy tabelę KLIENT, która przechowuje klientów z ich podstawowymi danymi i tabelę ADRES, która przechowuje adresy. Nie chciałbym wchodzić w analizę danych relacyjnych, ale na potrzeby tych przykładów zwróćmy uwagę, że jeden klient może mieć wiele adresów, a jeden adres w systemie może być przypisane jedynie do danego klienta. Nawet gdy mamy dwóch klientów pod tym samym adresem (np. małżeństwo), to adres występuje dwa razy i jest przypisany do dwóch różnych klientów.

10 najczęstszych błędów związanych z feedbackiem. Z historią w tle

Chciałbym się podzielić z Tobą pewną historią. Mogłoby się wydawać, że delegowanie zadań jest czymś łatwym, bo cóż może być trudnego w ich rozdzieleniu? Cytując klasyka: nic bardziej mylnego 🙂

Historia z życia – jak nie delegować zadań

Pracowałem w projekcie, w którym byłem analitykiem i głównym kontaktem dla klienta. Mój problem polegał na tym, że zbierając wymagania, to przy omawianiu ich z zespołem często dawałem gotowe rozwiązanie. Wynikało to z tego, że projekt był prowadzony w obszarze, w którym miałem duże doświadczenie technologiczne. Jak możesz się domyślić, zabijało to kreatywność ludzi w zespole i ich rozwój. A już na pewno nie motywowało do aktywniejszego udziału. Co gorsze, jeżeli zadanie otrzymywała osoba mniej asertywna, która widziała lepsze (od mojego) rozwiązanie, to mogła nie być chętne się nim podzielić.

Wiesz co było w tym najdziwniejsze? To, że zdawałem sobie sprawę, że taki styl zarządzania (zwany niekiedy mikrozarządzaniem) jest zły. Więc jak wpadłem w tę pułapkę? Myślę, że odpowiedź jest bardzo prosta – robiłem to nieświadomie. Czasem, ktoś patrzący z boku, potrafi takie rzeczy zauważyć. I właśnie dzięki temu, że dostałem taką informację od kolegi z zespołu, to mogłem to poprawić i bardziej uważać na to jak deleguję zadania.

Sama sztuka delegowania zadań jest odrębnym tematem, ale zależy mi, żebyś zwrócił(a) uwagę na moc informacji zwrotnej, czyli feedbacku.

Od zera do bohatera #2: 7 pytań, które musisz zadać, projektując system przetwarzający dane

W poprzednim wpisie serii Od zera do bohatera starałem się przekonać Cię, że niezbędne jest rozumienie danych, które przetwarzamy. Dzisiaj z kolei dowiesz się, na jakie rzeczy (w pierwszej kolejności) zwrócić uwagę projektując system przetwarzający dane.

Dla uproszczenia, na potrzeby naszych rozważań spójrzmy na przetwarzanie danych jako transformacja ich ze stanu A do B:

Stan A jest źródłem, a B jest Twoim celem.

Od zera do bohatera #1: Zrozum dane, które przetwarzasz. Przykład z życia

Jest to pierwszy artykuł z serii Od zera do bohatera. W tej serii chciałbym trochę wprowadzić Cię w świat przetwarzania danych. Całość ubieram w serię artykułów, które będą przeplatane innymi wpisami, ale dzięki temu łatwo będzie Ci odnaleźć całą serię na blogu.

W samych artykułach będę bazował zarówno na swoim doświadczeniu, jak i tym, czego aktualnie się uczę. Wierzę, że te kilkanaście lat zaowocowało wypracowanymi, dobrymi praktykami wyniesionymi z „placu boju” 🙂

Na pewno potrzebujemy trochę wprowadzenia (niezbędne minimum teorii), aby z czasem trochę „pobrudzić sobie ręce”, tworząc swoje przepływy danych.

Zacznijmy od przykładu – co się dzieje, gdy nie rozumiesz danych, które przetwarzasz.

O chmurze w biznesie (i nie tylko) z Krzysztofem Zalasą z Google

Krzysztof Zalasa - wywiad

W tym wpisie znajdziesz nie lada gratkę – wywiad z Krzysztofem Zalasą z Google 🙂 Krzysiek z zamiłowania jak i wykonywanej pracy bardzo dużo pracuje z technologiami chmurowymi. Dzięki temu możesz przeczytać o doświadczeniach osoby, która długo siedzi w branży oraz posiada dużo historii „z placu boju”.

Z tego wywiadu dowiesz się między innymi:

  • Jak Krzysiek zaczynał w IT.
  • Dlaczego warto zainteresować się technologiami chmurowymi.
  • Do czego potrzebne są kanistry w IT 🙂
  • Jak rozwija się chmura na świecie i w Polsce.
  • Co zdaniem Krzyśka przyniesie rok 2021.
  • Kto powinien korzystać z rozwiązań multicloud, a dla kogo przywiązanie do jednego dostawcy nie musi być niebezpieczne.

7 największych dostawców technologii chmurowych na świecie

We wcześniejszych wpisach oraz dokumencie wprowadzającym do chmury kilkukrotnie pojawiały się nazwy takich produktów jak Amazon Web Services (AWS), Google Cloud Platform (GCP) oraz Microsoft Azure.

Zdecydowanie te firmy można uznać za czołowych graczy. Ale czy tylko? Chciałbym pokazać Ci, że świat chmur jest trochę większy i zaprezentować wybraną przez siebie listę TOP 7 firm, które pojawiają się na tym rynku.

Wszystkie rozwiązania (poza jednym, ale o tym dalej) są bardzo zbliżone do siebie jeżeli chodzi o podstawowe komponenty. Na każdej chmurze utworzymy np. maszynę wirtualną, bazę danych, skorzystamy z konteneryzacji i całość połączymy siecią wirtualną.

Jednak pomiędzy trzema wymienionymi powyżej a całą resztą dość łatwo znaleźć różnice, które sprawiają, że akurat te, a nie inne wiodą prym. Sprawa się komplikuje jeżeli chcemy porównać trzech głównych graczy. Często jest tak, że porównanie ich pod względem konkretnych funkcji, wydajności i możliwości kończy się tzw. flame war, a wtedy nikt już nie bierze jeńców 🙂

22 zagadnienia, które pomogą Ci zrozumieć technologie chmurowe

Korzystasz z Google Drive, Dropbox, a może OneDrive? Super! To technicznie rzecz ujmując, korzystasz z bardzo modnej technologii, czyli chmury obliczeniowej (ang. Cloud Computing). A może korzystasz z więcej niż jednego rozwiązania? Jeżeli tak, to już jesteś na bieżąco z trendami w branży, ponieważ model Multicloud, gdzie korzystamy z więcej niż jednej chmury, zyskuje na popularności. Oczywiście w praktyce jest to trochę bardziej skomplikowane. Ale tylko trochę 🙂

O co chodzi z tą całą chmurą?

Kojarzysz pomysł samochodów, rowerów lub hulajnóg na minuty? Jeżeli tak to właśnie wyjaśniliśmy sobie główną ideę chmury 🙂 Dla osób, które nie miały okazji z takich usług korzystać, to krótkie wyjaśnienie. W większych miastach firmy udostępniają samochody, rowery, hulajnogi, które można wynająć za pomocą smartfona. Płacimy jedynie za wykorzystany czas i/lub kilometry (dodatkowo czasem pojawia się opłata początkowa).

Podobnie jest z chmurą publiczną, tylko zamiast pojazdów masz elementy systemu IT, takie jak infrastruktura, oprogramowanie, a nawet usługi. Idea polega na tym, abyś Ty, Twoja firma, Twój klient, nie musieli w to inwestować. Zamiast tego wszystko jest dostępne w jednym miejscu, a Ty płacisz jedynie za to co zużyłeś. Brzmi ciekawie, prawda?

Technologia to jedynie narzędzie. Opowieść z nagrodą Nobla w tle

Na początek disclaimer. W tym artykule przeczytasz moją opinię na dany temat. Bazuje ona na doświadczeniu, ale nie są to twarde fakty, a jedynie przemyślenia, więc proszę, miej to na uwadze.

Świat IT ewoluuje a wraz z nim umiejętności i kompetencje, które są niezbędne w tej pracy. Jeszcze parę lat temu było dużo osób, które specjalizowało się w danej technologii, natomiast obserwując rynek widać, że dzisiaj sama specjalizacja w jednym języku nie sprawi, że będziecie bardzo pożądani na rynku (z małymi wyjątkami).

Swoją karierę w dużej mierze opierałem o bazy i hurtownie danych. Ładnych parę lat temu zostałem zatrudniony jako Senior Oracle Developer. W firmie, w obszarach przetwarzania danych były jeszcze role takie jak: SQL Developer (specjalista od MS SQL Server) oraz ETL Developer – oczywiście na różnych poziomach zaawansowania: Junior, Regular, Senior oraz Technical Lead. I wiecie co? Moim zdaniem coraz mniej takich specjalizacji potrzeba na rynku. A czy tylko takich i skąd to wynika?

SQL – język angielski świata IT

Jeżeli jesteście na początku swojej drogi w IT lub pracujecie w tym świecie, ale po stronie biznesu i chcielibyście bardziej zaznajomić się z technologią i trochę „ubrudzić sobie ręce” to pewnie zastanawiacie się – od czego zacząć?

Mnogość technologii zaskakuje nawet osobę, która siedzi w branży kilkanaście lat. Świat IT jest ogromny, ale jeżeli zdecydujecie się zapoznać z technologiami przetwarzania danych to mam dla Was propozycję – zacznijcie od SQL-a… ale na nim nie kończcie.

Postaram się Was przekonać, że ten język Wam się przyda i jest niczym język angielski dla całego świata (z wszystkimi tego plusami i minusami).