Usuwanie plików z FTP używając Azure Data Factory

Podczas budowania procesu ETL w Azure Data Factory możemy napotkać konieczność wyczyszczenia pobranych danych z serwera FTP. Będzie to wymagane np. kiedy należy zrobić miejsce dla nowych danych lub aby pipeline nie załadował starych danych. Rozwiązaniem tego problemu jest niestandardowa aktywność w Data Factory.


Zauważyłem, że coraz więcej osób używa tego poradnika, więc stworzyłem nową odświeżoną wersję. Możesz ją znaleźć tutaj.

Stworzenie niestandardowej aplikacji jest opisane w poradniku napisanym przez Microsoft dostępnym tutaj.

By mieć możliwość usuwania plików z FTP lub czyszczenia danego folderu w C# należy zastosować kod:

Następnie po skompilowaniu kodu aktywność w Data Factory powinna mieć taką postać:

Jeśli nie chcecie podawać loginu i hasła w aktywności, wtedy należy zrobić to w już w kodzie C#.

Kod prosty i przetestowany 🙂

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *