Dzisiaj napiszę w jaki sposób stworzyć funkcję pętli w Power BI używając List.Generate() i funkcji niestandardowej. Zaprezentuje jak przejść przez kolejne strony przy zapytaniu API. W Pythonie zostało by to zrobione właśnie ze pomocą funkcji „for”.
Zdaję sobie sprawę, że taki temat może być oczywistością dla wielu doświadczonych inżynierów danych czy SQLowców, ale mnie mocno zaskoczył. Nasz architekt Paweł Potasiński zwrócił mi uwagę na taką możliwość. W kontrolowanym środowisku Power BI pozwala na wstrzyknięcie kodu SQL poprzez parametr i robienie (prawie) wszystkiego na co ma się ochotę – nawet usunięcie bazy danych! O SQL Injection można poczytać tutaj lub obejrzeć ten filmik. A o moich skryptach w M tu lub tu.
Zadanie z poprzedniego tygodnia wymagało jeszcze jednej rzeczy! Jak wspomniałem, klient pobierał dane z API. Dodatkowo klient chciał pobierać dane dla dwóch różnych podmiotów tj. musiał łączyć się z bazą za pomocą dwóch różnych zestawów haseł i loginów. Ponieważ wszystko miało być raportowane z Power BI, musiałem znaleźć rozwiązanie. Znów postanowiłem popisać w M!
Moje pierwsze krótkie zadanie w nowej pracy polegało na wsparciu klienta przy łączeniu się z API w Power BI. Pilotażowy raport był połączony tylko z jedną stroną internetową. Klient wymagał natomiast, żeby raport pobierał dane z wielu różnych stron. Wymagało to dynamicznego odpytywania strony internetowej i postanowiłem napisać to w języku M.
Moduł dane w Excelu pozwana na połączenie się z tabelą na stronie internetowe. Tym sposobem przy odświeżaniu dane będą automatycznie pobierane i zawsze aktualne.
Postanowiłem spróbować stworzyć samo-uczący się algorytm radzący sobie z prostym problemem. Wiem, że moje rozwiązanie jest mocno na wyrost, ale i tak chciałem poeksperymentować z możliwościami połączenia GA i ANN.
Stworzenie tej wizualizacji zajęło mi znacznie więcej czasu niż sądziłem. Pomysł pojawił się 29. czerwca gdy siedziałem w biurze Microsoft przy lotnisku w Warszawie. Burza tego dnia była ogromna. Podczas sprawdzania ruchu lotniczego na Flightradar24, zacząłem zastanawiać się jak wyglądałyby loty na jednym wykresie z mapą i chmurami.
Podczas budowania procesu ETL w Azure Data Factory możemy napotkać konieczność wyczyszczenia pobranych danych z serwera FTP. Będzie to wymagane np. kiedy należy zrobić miejsce dla nowych danych lub aby pipeline nie załadował starych danych. Rozwiązaniem tego problemu jest niestandardowa aktywność w Data Factory.
Dzisiaj opiszę bardzo proste rozwiązanie, które umożliwia zmianę jednostek/walut używając slicerów. To rozwiązanie sprawi, że raport będzie jeszcze bardziej interaktywny i łatwiejszy w odbiorze. Z mojego doświadczenia mogę dodać, że klienci będą w stanie znaleźć ważne dla nich informacje znacznie szybciej. Efekt końcowy może wyglądać na przykład tak:
