@adreno420: To jak się z jednego pociągu przesiadasz na drugi.

@adreno420: U mnie to oznacza jakiś serwer do którego łączysz się pulpitem zdalnym z ogólnej sieci korporacyjnej i z którego to serwera możesz się połączyć do maszyn w wyizolowanej sieci produkcyjnej.

@przecietnyczlowiek:

Czy dostaję jakąś stratę na performancie, że robie takie rzeczy po tekście zamiast jakichś integerach np?

Tak

Czy uzyskałbym lepszy perfomance gain gdybym na wejściu zrobił case when [typ dokumentu] = faktura then 1 itd. i potem po tym joinował?

Nie

@przecietnyczlowiek: Jeśli to jest DW to z założenia powinieneś tworzyć tabele wymiarów i kolumny typu typ dokumentu właśnie podmieniać na FK

Czy SSIS służy tylko poukładaniu kolejności wykonywania poszczególnych procedur w bardziej przejrzysta formę, ale wszystko i tak jest zaszyte w T-SQL?

@AnonimoweMirkoWyznania: generalnie tak, zwłaszcza dla baz sqlowych. SSIS jest orchestratorem, ale transformacje i data cleansing wykonuje się po stronie SQL. Chyba, że w grę wchodzą jakieś importy/exporty z data lakeów, api (tu i się skrypty w c# nawet pisze) nosqli.

W Azure Data Factory może być podobnie, aczkolwiek jest też opcja azure data factory data flows, gdzie transformacje i data cleansing wyklikuje się za pomocą bloczków.

W obu przypadkach warto się nauczyć używania parametrów, zmiennych, kontenerów for each. Nie trzeba się mocno wgryzać w narzędzia ETLowe by móc w nich sporo zrobić.
Po stronie sql wiadomo - robienie lookupów, zmiana typów danych, agregacje, incremental loading.

OP: @przecietnyczlowiek: dzięki. Oczywiście mówię o bazach sqlowych. Oganianie danych z api, datalakow, big data na razie nawet nie ruszam, z resztą nie mam z tym styczności w robocie i na razie to dla mnie wyższa szkoła jazdy.
W robocie sporo siedzę właśnie z ETL Devem, gdzie mu tłumacze jak dane w finalnym modelu powinny wyglądać, czasami pisze mu gotowy kod w T-SQLu z tej czesci tranformacji, bardziej dla wlasnego rozwoju niz dlatego ze on nie ogarnia, bo ogarnia. Nie mam tylko pełnego dostępu do dwh i brak ssis, żeby to sobie samemu porobić, albo przesledzic caly proces.

Chcialbym etle ograniac na poziomie juniorskim, zeby byc bardziej BI Developerem również od tej strony back endowej, bo widzialem ze czesto na tych lepiej płatnych ofertach ( ͡° ͜ʖ ͡°)wymagaja znajomosci etl i ssis. Zaczalem sie uczyc samemu. Ogladajac tutoriale na yb widzialem jak hindus robi doslowanie wszystko drag&drop w ssis i mialem maly mindfuck jak zestawilem to z tym jak to u mnie w korpo wyglada. Nabralem podejrzen jak czyscil cala tabele deletem ( ͡° ͜ʖ ͡°)
---

Ten komentarz został dodany przez osobę dodającą wpis (OP)
Zaakceptował: LeVentLeCri