Poprawnie zaprojektowane i wdrożone potoki danych mają kluczowe znaczenie dla pomyślnej analizy danych, a także w trakcie uczenia maszynowego. Pozyskanie ogromnych ilości danych z różnych źródeł najczęściej nie stanowi problemu. Nieco trudniejsze jest zaprojektowanie procesu ich przetwarzania w celu dostarczenia kontekstu w taki sposób, aby efektywnie korzystać z posiadanych danych w codziennej pracy organizacji i podejmować dzięki nim rozsądne decyzje.

Oto zwięzły przewodnik przeznaczony dla inżynierów danych, którzy chcą poznać zasady implementacji potoków danych. Wyjaśnia najważniejsze pojęcia związane z potokami danych, opisuje zasady ich tworzenia i implementacji, prezentuje także najlepsze praktyki stosowane przez liderów w branży analizy danych. Dzięki książce zrozumiesz, w jaki sposób potoki danych działają na nowoczesnym stosie danych, poznasz też typowe zagadnienia, które trzeba przemyśleć przed podjęciem decyzji dotyczących implementacji. Dowiesz się, jakie są zalety samodzielnego opracowania rozwiązania, a jakie - zakupu gotowego produktu. Poznasz również podstawowe koncepcje, które mają zastosowanie dla frameworków typu open source, produktów komercyjnych i samodzielnie opracowywanych rozwiązań.

Dowiedz się:

• czym jest potok danych i na czym polega jego działanie
• jak się odbywa przenoszenie i przetwarzanie danych w nowoczesnej infrastrukturze
• jakie narzędzia są szczególnie przydatne do tworzenia potoków danych
• jak używać potoków danych do analizy i tworzenia raportów
• jakie są najważniejsze aspekty obsługi potoków, ich testowania i rozwiązywania problemów

Poznaj najlepsze praktyki projektowania i implementacji potoków danych!

Metody statystyczne są kluczowym narzędziem w data science, mimo to niewielu analityków danych zdobyło wykształcenie w ich zakresie. Może im to utrudniać uzyskiwanie dobrych efektów. Zrozumienie praktycznych zasad statystyki okazuje się ważne również dla programistów R i Pythona, którzy tworzą rozwiązania dla data science. Kursy podstaw statystyki rzadko jednak uwzględniają tę perspektywę, a większość podręczników do statystyki w ogóle nie zajmuje się narzędziami wywodzącymi się z informatyki.

To drugie wydanie popularnego podręcznika statystyki przeznaczonego dla analityków danych. Uzupełniono je o obszerne przykłady w Pythonie oraz wyjaśnienie, jak stosować poszczególne metody statystyczne w problemach data science, a także jak ich nie używać. Skoncentrowano się też na tych zagadnieniach statystyki, które odgrywają istotną rolę w data science. Wyjaśniono, które koncepcje są ważne i przydatne z tej perspektywy, a które mniej istotne i dlaczego. Co ważne, poszczególne koncepcje i zagadnienia praktyczne przedstawiono w sposób przyswajalny i zrozumiały również dla osób nienawykłych do posługiwania się statystyką na co dzień.

W książce między innymi:

• analiza eksploracyjna we wstępnym badaniu danych
• próby losowe a jakość dużych zbiorów danych
• podstawy planowania eksperymentów
• regresja w szacowaniu wyników i wykrywaniu anomalii
• statystyczne uczenie maszynowe
• uczenie nienadzorowane a znaczenie danych niesklasyfikowanych

Statystyka: klasyczne narzędzia w najnowszych technologiach!

Platforma Amazon Web Services jest uważana za największą i najbardziej dojrzałą chmurę obliczeniową. Zapewnia bogaty zestaw specjalistycznych narzędzi ułatwiających realizację projektów z zakresu inżynierii danych i uczenia maszynowego. W ten sposób inżynierowie danych, architekci i menedżerowie mogą szybko zacząć używać danych do podejmowania kluczowych decyzji biznesowych. Uzyskanie optymalnej efektywności pracy takich projektów wymaga jednak dobrego rozeznania w możliwościach poszczególnych narzędzi, usług i bibliotek.

Dzięki temu praktycznemu przewodnikowi szybko nauczysz się tworzyć i uruchamiać procesy w chmurze, a następnie integrować wyniki z aplikacjami. Zapoznasz się ze scenariuszami stosowania technik sztucznej inteligencji: przetwarzania języka naturalnego, rozpoznawania obrazów, wykrywania oszustw, wyszukiwania kognitywnego czy wykrywania anomalii w czasie rzeczywistym. Ponadto dowiesz się, jak łączyć cykle rozwoju modeli z pobieraniem i analizą danych w powtarzalnych potokach MLOps. W książce znajdziesz też zbiór technik zabezpieczania projektów i procesów z obszaru inżynierii danych, takich jak stosowanie usługi IAM, uwierzytelnianie, autoryzacja, izolacja sieci, szyfrowanie danych w spoczynku czy postkwantowe szyfrowanie sieci dla danych w tranzycie.

Najciekawsze zagadnienia:

• narzędzia AWS związane ze sztuczną inteligencją i z uczeniem maszynowym
• kompletny cykl rozwoju modelu przetwarzania języka naturalnego
• powtarzalne potoki MLOps
• uczenie maszynowe w czasie rzeczywistym
• wykrywanie anomalii i analiza strumieni danych
• zabezpieczanie projektów i procesów z obszaru inżynierii danych

AWS i inżynieria danych: tak zwiększysz wydajność i obniżysz koszty!

Implementowanie solidnego kompletnego procesu uczenia maszynowego to żmudne zadanie, dodatkowo komplikowane przez szeroki zakres dostępnych narzędzi i technologii. Autorzy wykonali świetną robotę, a jej efekty pomogą zarówno nowicjuszom, jak i doświadczonym praktykom realizować to zadanie z wykorzystaniem możliwości, jakie dają usługi AWS

Brent Rabowsky, danolog w firmie Amazon Web Services

Celem monografii jest przedstawienie, jakie zmiany zachodzą w badaniach marketingowych pod wpływem rozwoju technologii informacyjnych i komunikacyjnych. Wskazano w niej nowe podejścia, metody i techniki badawcze, takie jak Google Analytics, strategie analityczne odnoszące się do big data, sztuczne sieci neuronowe czy badania neuromarketingowe. Zwiększająca zasięg penetracja Internetu, rozwój społeczeństwa sieci i gospodarki sieciowej stwarzają wiele implikacji dla zarządzania wiedzą i sprawiają, że bardzo wiele projektów badawczych immanentnie związanych jest z nowymi mediami. Autorzy w swoich tekstach dowodzą, iż dokonująca się dzięki technologiom cyfrowym transformacja danych pozyskanych z rynku w informacje pozwala na coraz trafniejsze antycypowanie zachowań podmiotów rynkowych, szczególnie konsumentów, co w konsekwencji służy zwiększaniu skuteczności i efektywności działań marketingowych.

Ze względu na gwałtowny rozwój inżynierii danych, jaki nastąpił w ciągu ostatniej dekady, wielu inżynierów oprogramowania, badaczy i analityków danych zaczęło odczuwać potrzebę kompleksowego spojrzenia na tę praktykę. Dzięki tej praktycznej książce zawierającej opis najlepszych technologii dostępnych w ramach frameworka cyklu życia inżynierii danych, dowiesz się, jak planować i budować systemy, które mają zaspokoić potrzeby Twojej organizacji i klientów.

Autorzy, Joe Reis i Matt Housley, przeprowadzą Cię przez cykl życia inżynierii danych i pokażą, jak połączyć różne technologie chmurowe, aby spełnić potrzeby konsumentów danych w dolnej części strumienia przetwarzania. Dzięki lekturze tej książki dowiesz się, jak zastosować koncepcje generowania, pozyskiwania, orkiestracji, przekształcania, przechowywania i zarządzania danymi - kluczowe w każdym środowisku danych, niezależnie od wykorzystywanej technologii.

Dzięki książce:

• Uzyskasz zwięzły przegląd całego środowiska inżynierii danych.
• Nauczysz się oceniać problemy inżynierii danych i stosować kompleksowe frameworki najlepszych praktyk.
• Dowiesz się jak przebić się przez szum marketingowy i wybrać odpowiednie technologie, architekturę danych i procesy?
• Nauczysz się wykorzystywać cykl życia inżynierii danych do zaprojektowania i zbudowania solidnej architektury.
• Poznasz mechanizmy zarządzania danymi i bezpieczeństwa w całym cyklu życia inżynierii danych.

"Świat danych ewoluuje już od jakiegoś czasu. Najpierw byli projektanci. Następnie administratorzy baz danych. Potem CIO. Następnie architekci danych. Ta książka sygnalizuje kolejny krok w ewolucji i dojrzałości branży. Jest to lektura obowiązkowa dla każdego, kto uczciwie podchodzi do swojego zawodu i kariery".

Bill Inmon, twórca hurtowni danych

"Inżynieria danych w praktyce" to świetne wprowadzenie do branży przenoszenia, przetwarzania i obsługi danych. Gorąco polecam ją każdemu, kto chce być na bieżąco z inżynierią danych lub analizą oraz wszystkim osobom zajmującym się danymi, którzy chcą uzupełnić luki w swojej wiedzy".

Jordan Tigani, założyciel i dyrektor generalny firmy MotherDuck oraz inżynier-założyciel i współtwórca firmy BigQuery

Dzisiejszy, dynamiczny świat biznesu wysoko ceni wartość informacji płynących z danych. Rozwiązania z obszaru analityki biznesowej ułatwiają kierownictwu przedsiębiorstwa podejmowanie najlepszych decyzji, a to z kolei przekłada się na sukces rynkowy i zyski. Analitycy danych, którzy potrafią przełożyć strumień danych na przydatne informacje, zaprezentowane za pomocą czytelnych raportów, są dziś wysoko cenieni w każdej organizacji dążącej do rozwoju.

To drugie, w pełni zaktualizowane wydanie przewodnika dla początkujących, dzięki któremu szybko zdobędziesz praktyczne umiejętności korzystania z rozbudowanej platformy Power BI. Najpierw zapoznasz się z podstawami analityki biznesowej i sposobami realizowania projektów w tym obszarze. Nauczysz się krok po kroku pobierać, oczyszczać i przekształcać dane, a potem generować ich atrakcyjne wizualizacje. Szybko wprawisz się w tworzeniu eleganckich raportów zrozumiałych dla osób podejmujących decyzje biznesowe. Dowiesz się również, jak zainstalować platformę Power BI, zarządzać nią i wdrożyć ją w organizacji. Ponadto przekonasz się, jak ciekawe są ścieżki kariery dostępne dla specjalistów w tej dziedzinie, a także otrzymasz garść porad na temat dalszej nauki.

Dzięki książce:

• płynnie rozpoczniesz pracę z platformą Power BI
• zrozumiesz zasady analityki biznesowej
• nauczysz się przekształcać dane za pomocą edytora Power Query
• zaczniesz tworzyć zoptymalizowane modele danych
• zastosujesz język DAX do obliczeń na potrzeby analizy danych
• dowiesz się, jak korzystać z pulpitów nawigacyjnych, aplikacji, metryk i kart wyników

Z Power BI nauczysz się profesjonalnej analizy biznesowej!

Ważnym zadaniem inżynierów danych jest kreowanie modeli uczenia maszynowego. Używa się do tego narzędzi do analizy biznesowej, takich jak Power BI. Możliwości Power BI są imponujące, a można je dodatkowo rozbudować. Jedną z ciekawszych metod wzbogacania modelu danych i wizualizacji Power BI jest zastosowanie złożonych algorytmów zaimplementowanych w językach Python i R. W ten sposób można nie tylko tworzyć interesujące wizualizacje danych, ale także pozyskiwać dzięki nim kluczowe dla biznesu informacje.

Dzięki tej książce dowiesz się, jak to zrobić. Zaczniesz od przygotowania środowiska Power BI do używania skryptów w Pythonie i R. Następnie będziesz importować dane z nieobsługiwanych obiektów i przekształcać je za pomocą wyrażeń regularnych i złożonych algorytmów. Nauczysz się wywoływać zewnętrzne interfejsy API i korzystać z zaawansowanych technik w celu przeprowadzenia dogłębnych analiz i wyodrębnienia cennych informacji za pomocą narzędzi statystyki i uczenia maszynowego, a także poprzez zastosowanie optymalizacji liniowej i innych algorytmów. Zapoznasz się również z głównymi cechami statystycznymi zestawów danych i z metodami tworzenia różnych wykresów ułatwiających zrozumienie relacji między zmiennymi.

Najciekawsze zagadnienia:

• złożone przekształcanie danych w Power BI za pomocą skryptów Pythona i R
• anonimizacja i pseudonimizacja danych
• praca z dużymi zestawami danych
• wartości odstające i brakujące dla danych wielowymiarowych i szeregów czasowych
• tworzenie złożonych wizualizacji danych

Wyzwól potężną moc Power BI!

Dostęp do danych jest warunkiem rozwoju niejednej organizacji. Aby w pełni skorzystać z ich potencjału i uzyskać dzięki nim konkretną wartość, konieczne jest odpowiednie zarządzanie danymi. Obecnie stosowane rozwiązania w tym zakresie nie nadążają już za złożonością dzisiejszych organizacji, rozprzestrzenianiem się źródeł danych i rosnącymi aspiracjami inżynierów, którzy rozwijają techniki sztucznej inteligencji i analizy danych. Odpowiedzią na te potrzeby może być siatka danych (Data Mesh), jednak praktyczna implementacja tej koncepcji wymaga istotnej zmiany myślenia.

Ta książka szczegółowo wyjaśnia paradygmat siatki danych, a przy tym koncentruje się na jego praktycznym zastosowaniu. Zgodnie z tym nowatorskim podejściem dane należy traktować jako produkt, a dziedziny - jako główne zagadnienie. Poza wyjaśnieniem paradygmatu opisano tu zasady projektowania wysokopoziomowej architektury komponentów siatki danych, a także przedstawiono wskazówki i porady dotyczące ewolucyjnej realizacji siatki danych w organizacji. Tematyka ta została potraktowana wszechstronnie: omówiono kwestie technologiczne, organizacyjne, jak również socjologiczne i kulturowe. Dzięki temu jest to cenna lektura zarówno dla architektów i inżynierów, jak i dla badaczy, analityków danych, wreszcie dla liderów i kierowników zespołów.

W książce:

• wyczerpujące wprowadzenie do paradygmatu siatki danych
• siatka danych i jej komponenty
• projektowanie architektury siatki danych
• opracowywanie i realizacja strategii siatki danych
• zdecentralizowany model własności danych
• przejście z hurtowni i jezior danych do rozproszonej siatki danych

Siatka danych: kolejny etap rozwoju technologii big data!

Model relacyjnej bazy danych zdecydowanie dominował wśród technologii bazodanowych przez ostatnie 20 lat. Poszczególne rozwiązania były do siebie na tyle podobne, że decyzja o zastosowaniu relacyjnej bazy danych stała się oczywista. Architektura rozwiązań tego typu była zbliżona, a różnice polegały głównie na koszcie wdrożenia, wydajności, niezawodności i łatwości użycia aplikacji. Obecnie sytuacja diametralnie się zmieniła: powstało wiele radykalnie różniących się od siebie technologii bazodanowych, a wybór właściwej bazy danych stał się złożonym zadaniem, wymagającym sporej wiedzy i obarczonym poważnymi konsekwencjami natury ekonomicznej i technologicznej.

Ta książka szczególnie przyda się architektom technologii informatycznych, administratorom baz danych i projektantom, którzy do wykonywania swoich obowiązków potrzebują wiedzy o najświeższych rozwiązaniach z dziedziny technologii baz danych. Omówiono tu najnowsze, wykorzystywane obecnie technologie baz danych. Wyjaśniono, w jakim celu zaprojektowano każdą z nich. Zaprezentowano możliwości poszczególnych baz danych oraz ich potencjał w rozwiązywaniu realnych problemów biznesowych i problemów z aplikacjami. Co najważniejsze, ukazano różnice w architekturze między technologiami, które mają kluczowe znaczenie przy wyborze platformy baz danych dla nowych i planowanych projektów.

W tej książce między innymi:

• Co zrewolucjonizowało bazy danych
• Google, Hadoop i koncepcja BigData
• Pamięciowe i rozproszone bazy danych
• NoSQL, CQL i nowe odsłony SQL
• Hybrydowe bazy danych Oracle

NoSQL i BigData: potężne bazy danych przyszłości!

Apache Spark jest oprogramowaniem open source, przeznaczonym do klastrowego przetwarzania danych dostarczanych w różnych formatach. Pozwala na uzyskanie niespotykanej wydajności, umożliwia też pracę w trybie wsadowym i strumieniowym. Framework ten jest również świetnie przygotowany do uruchamiania złożonych aplikacji, włączając w to algorytmy uczenia maszynowego czy analizy predykcyjnej. To wszystko sprawia, że Apache Spark stanowi znakomity wybór dla programistów zajmujących się big data, a także eksploracją i analizą danych.

To książka przeznaczona dla inżynierów danych i programistów, którzy chcą za pomocą Sparka przeprowadzać skomplikowane analizy danych i korzystać z algorytmów uczenia maszynowego, nawet jeśli te dane pochodzą z różnych źródeł. Wyjaśniono tu, jak dzięki Apache Spark można odczytywać i ujednolicać duże zbiory informacji, aby powstawały niezawodne jeziora danych, w jaki sposób wykonuje się interaktywne zapytania SQL, a także jak tworzy się potoki przy użyciu MLlib i wdraża modele za pomocą biblioteki MLflow. Omówiono również współdziałanie aplikacji Sparka z jego rozproszonymi komponentami i tryby jej wdrażania w poszczególnych środowiskach.

W książce:

• API strukturalne dla Pythona, SQL, Scali i Javy
• operacje Sparka i silnika SQL
• konfiguracje Sparka i interfejs Spark UI
• nawiązywanie połączeń ze źródłami danych: JSON, Parquet, CSV, Avro, ORC, Hive, S3 i Kafka
• operacje analityczne na danych wsadowych i strumieniowanych
• niezawodne potoki danych i potoki uczenia maszynowego

Spark: twórz skalowalne i niezawodne aplikacje big data!

Poszerz zasób słownictwa z branży IT i naucz się poprawnie je wykorzystywać!

Obecnie język angielski jest nieodłącznym elementem świata IT. Większość producentów oprogramowania oraz twórców metodyk i standardów w branży IT udostępnia materiały wyłącznie w tym języku. Ponadto wiele projektów informatycznych jest realizowanych we współpracy z ekspertami pochodzącymi z różnych krajów. Komunikacja odbywa się wówczas przeważnie także w języku angielskim. Jeśli więc jesteś specjalistą z branży IT, funkcjonującym na co dzień w środowisku anglojęzycznym, możesz z kolei nie czuć się w pełni swobodnie wypowiadając się w tym języku w każdym obszarze tak szerokiej dziedziny wiedzy.

Jeśli chcesz zatem:

• poznać lub poszerzyć specjalistyczne słownictwo stosowane na co dzień w branży IT,
• nauczyć się poprawnie je wykorzystywać i profesjonalnie wypowiadać się podczas spotkań, konferencji branżowych i codziennej pracy z klientem,
• zrozumieć zaawansowane reguły gramatyczne lub odświeżyć wiedzę na ten temat, by zabłysnąć podczas formalnych spotkań lub jako autor profesjonalnej dokumentacji w języku angielskim,
• zacząć posługiwać się prawidłowymi polskimi terminami zamiast kalkami językowymi,

Koniecznie sięgnij po tę książkę!

Znajdziesz tu profesjonalne angielskie teksty dotyczące różnych obszarów IT: baz danych, big data, sieci komputerowych, metod wytwarzania oprogramowania i wielu innych. Każdy z nich został opatrzony słowniczkiem zawierającym tłumaczenia na język polski zarówno terminów specjalistycznych, jak i tych z języka ogólnego. Ponadto w każdym rozdziale omówione zostały różne zagadnienia gramatyczne wraz z przykładami ich zastosowania w języku informatyki. Na końcu każdego rozdziału znajdziesz ćwiczenia, które pomogą Ci utrwalić poznane słownictwo i reguły gramatyczne. Dzięki temu opanujesz najważniejsze pojęcia, odkryjesz, w jakich kontekstach występują, i zaczniesz stosować je w praktyce.

• What is Information Technology?
• Databases
• How well do you know your computer?
• Computer networks
• What's so big about big data?
• Business Intelligence
• Data mining
• Software licensing
• Software development methodologies
• The Internet and the World Wide Web
• Data governance
• Software testing

Revise and expand Your knowledge!

Analityka danych jest uważana za wyjątkowo obiecującą dziedzinę wiedzy. Rozwija się błyskawicznie i znajduje coraz to nowsze zastosowania. Profesjonaliści biegli w eksploracji danych i wydobywaniu z nich pożytecznych informacji mogą liczyć na interesującą pracę i bardzo atrakcyjne warunki zatrudnienia. Jednak aby zostać analitykiem danych, trzeba znać matematykę i statystykę, a także nauczyć się programowania. Umiejętności w zakresie uczenia maszynowego i uczenia głębokiego również są ważne. W przypadku tak specyficznej dziedziny, jaką jest nauka o danych, szczególnie istotne jest zdobycie gruntownych podstaw i dogłębne ich zrozumienie.

W tym przewodniku opisano zagadnienia związane z podstawami nauki o danych. Wyjaśniono niezbędne elementy matematyki i statystyki. Przedstawiono także techniki budowy potrzebnych narzędzi i sposoby działania najistotniejszych algorytmów. Książka została skonstruowana tak, aby poszczególne implementacje były jak najbardziej przejrzyste i zrozumiałe. Zamieszczone tu przykłady napisano w Pythonie: jest to język dość łatwy do nauki, a pracę na danych ułatwia szereg przydatnych bibliotek Pythona. W drugim wydaniu znalazły się nowe tematy, takie jak uczenie głębokie, statystyka i przetwarzanie języka naturalnego, a także działania na ogromnych zbiorach danych. Zagadnienia te często pojawiają się w pracy współczesnego analityka danych.

W książce między innymi:

• elementy algebry liniowej, statystyki i rachunku prawdopodobieństwa
• zbieranie, oczyszczanie i eksploracja danych
• algorytmy modeli analizy danych
• podstawy uczenia maszynowego
• systemy rekomendacji i przetwarzanie języka naturalnego
• analiza sieci społecznościowych i algorytm MapReduce

Nauka o danych: bazuj na solidnych podstawach!

Wprawny analityk danych potrafi z nich uzyskać wiedzę ułatwiającą podejmowanie trafnych decyzji. Od kilku lat można do tego używać nowoczesnych narzędzi Pythona, które zbudowano specjalnie do tego celu. Praca z nimi nie wymaga głębokiej znajomości statystyki czy algebry. Aby cieszyć się uzyskanymi rezultatami, wystarczy się wprawić w stosowaniu kilku pakietów i środowisk Pythona.

Ta książka jest trzecim, starannie zaktualizowanym wydaniem wyczerpującego przewodnika po narzędziach analitycznych Pythona. Uwzględnia Pythona 3.0 i bibliotekę pandas 1.4. Została napisana w przystępny sposób, a poszczególne zagadnienia bogato zilustrowano przykładami, studiami rzeczywistych przypadków i fragmentami kodu. W trakcie lektury nauczysz się korzystać z możliwości oferowanych przez pakiety pandas i NumPy, a także środowiska IPython i Jupyter. Nie zabrakło wskazówek dotyczących używania uniwersalnych narzędzi przeznaczonych do ładowania, czyszczenia, przekształcania i łączenia zbiorów danych. Pozycję docenią analitycy zamierzający zacząć pracę w Pythonie, jak również programiści Pythona, którzy chcą się zająć analizą danych i obliczeniami naukowymi.

Dzięki książce nauczysz się:

• eksplorować dane za pomocą powłoki IPython i środowiska Jupyter
• korzystać z funkcji pakietów NumPy i pandas
• używać pakietu matplotlib do tworzenia czytelnych wizualizacji
• analizować i przetwarzać dane regularnych i nieregularne szeregi czasowe
• rozwiązywać rzeczywiste problemy analityczne

Wes McKinney zaktualizował swoją książkę, aby była podstawowym źródłem informacji o wszystkich zagadnieniach związanych z analizą danych przy użyciu języka Python i biblioteki pandas. Gorąco polecam tę pozycję!

Paul Barry, wykładowca i autor książek