#glue — mirko.vip

#glue najlepsze najnowsze

mccloud 2022-09-30 23:06:40 +0

Jest tu jakiś spec od #awsglue #glue #spark ?
Po odpaleniu joba, po jakims czasie dostaje bład jak niżej...

I nie wyglada to na coś złego, normalnie wszystko się przetwarza (screen)
jakieś pomysły co zrobiłem nie tak?

An error occurred while calling o5466.resolveChoice. Job aborted due to stage failure: Task 6 in stage 53.0 failed 4 times, most recent failure: Lost task 6.3 in stage 53.0 (TID 449) (10.10.1.162 executor 11): ExecutorLostFailure (executor 11 exited caused by one of the running tasks) Reason: Remote RPC client disassociated. Likely due to containers exceeding thresholds, or network issues. Check driver logs for WARN messages.

0 komentarzy

mccloud 2021-04-26 16:41:31 +0

Kurcze mam dane 145 kolumn, 100k wierszy. Wrzucam do glue/sparka i mam kilkadziesiat krokow. W wiekszosci cos w stylu a*b itd (testuje sobie).
Większość kodu to funkcje np jak poniższa:

`def handle(gc: GlueContext, df: DynamicFrame) -> DynamicFrame:
return ApplyMapping.apply(frame=df, mappings=t)`

`def t(rec: DynamicRecord) -> DynamicRecord:
rec['test'] = random.randint(0, 9)
return rec`

No i wydajnosc tego to np 2-4 min na taki jeden krok - co mi sie wydaje dosyc dlugo.
Nagle przeprocesowanie 100k i 20 krokow to kwestia godziny (50 workerow). Zwiekszanie workerow nawet powoduje wydłużenie czasu.

I to juz po partycjonowaniu danych - wczesniej to czasy były absurdalnie wysokie.

Ma ktos jakieś rady, Co powinienem sprawdzic/przeczytać?

#awsglue #glue #spark

19 komentarzy

mccloud 2021-04-27 11:31:19 +2

@inny_89: I chyba juz znalazłem winowajce.
Mam jedna regułe która ma policzyc srednia dla calego zbioru...
Wszystkie joby wcześniejsze są ładnie rozrzucone na executory.
Wszystkie joby po średniej - już idą na jednym executorze.

Dziwne, bo robie sobie kopie ramki, obliczam co mi trzeba i potem dodaje tylko kolumne do oryginalnej ramki. Ale zaraz sie upewnie wywalajac ten krok czy wszystko bedzie ladnie rownolegle dzialac.

mccloud 2021-04-27 23:23:02 +2

@inny_89: Ok, to sobie rozpoznam - wygląda to na dosyć dużę czasy GC, jakby to zmniejszyć to też dobry kwałek ugram.

PS. Wielkie dzięki - wskazówki z dag (AWS ma to pod nazwą to Spark UI) były super pomocne. Tak to bym pewnie w ciemno błądził co jest nie tak. A tak w dzień rozpykane i teraz 100k wierszy robie w 8 min zamiast w 1h.
Problematyczne przekształcenia (średnia i join) - przynajmniej wiem co jest źle, ew mam wytłumaczenie dla klienta, że takie coś powinno być ostatnim krokiem. :)
Dzięki!

pokaż komentarze (17)