Jest tu jakiś spec od #awsglue #glue #spark ?
Po odpaleniu joba, po jakims czasie dostaje bład jak niżej...

I nie wyglada to na coś złego, normalnie wszystko się przetwarza (screen)
jakieś pomysły co zrobiłem nie tak?

An error occurred while calling o5466.resolveChoice. Job aborted due to stage failure: Task 6 in stage 53.0 failed 4 times, most recent failure: Lost task 6.3 in stage 53.0 (TID 449) (10.10.1.162 executor 11): ExecutorLostFailure (executor 11 exited caused by one of the running tasks) Reason: Remote RPC client disassociated. Likely due to containers exceeding thresholds, or network issues. Check driver logs for WARN messages.

Czy #spark sam z siebie wywala kolumny które mają tylko nulla?

Co prawda mam #awsglue i #spark pod spodem, ale jak na wejsciu dałem 200 kolumn to polowa mi zniknęła - sprawdziłem dane i są te które zniknęły mają same nulle.

#dji #spark #drony Wygrzebałem swojego Sparka po prawie dwóch latach i niestety jedna bateria już się nie ładuje. Gdzie najlepiej kupić nową? Widzę, że kiepsko z dostępnością ( ͡° ʖ̯ ͡°)

Humble Bundle z książkami wydawnictwa Apress. Głównie o technologiach związanych z .NET, ML.NET, Cpłotek, TypeScript, Azure, Github.

26 książek za £14!

Pełna lista:

Practical Entity Framework Core 6

.NET Developers Guide to Augmented Reality in iOS

Lean Software Systems Engineering for Developers

Pro Cryptography and Cryptanalysis

Introducing Distributed Application Runtime (Dapr)

Pro ASP.NET Core Identity

ML.NET Revealed

Visual Studio Code Distilled

The Complete ASP.NET Core API Tutorial

Introducing .NET 6

Building Single Page Applications in .NET Core

Microsoft Blazor

Introducing .NET for Apache Spark

Microsoft Conversational AI Platform for Developers

Practical Paint.NET

Pro ASP.NET Core 6

Advanced ASP.NET Core 3 Security

Pro Microservices in .NET 6

C# Programming for Absolute Beginners, 2nd edition

Mastering Azure API Management

Stylish F# 6

Essential TypeScript 4

Beginning gRPC with ASP.NET Core 6

Hands on GitHub Actions

ASP.NET Web Forms Development

Introducing Microsoft Quantum Computing for Developers

#dotnet #programowanie #microsoft #microservices #entityframework #blazor #frontend #backend #azure #dapr #csharp #fsharp #spark #mlnet

#pyspark #awsglue #spark

Mam sobie kolumne z danymi:

`60
null
null
null
null
35
4.594595
null
null
`

po wczytaniu wykrywa mi typ jako
`|-- TestColumn: struct
| |-- string: string
| |-- long: long`

No to wrzucilem sobie:

`for column, data_type in df.dtypes:
____if data_type.startswith('struct'):
________df = df.withColumn(column, col(column).cast(StringType()))
`
(nie ma wcięć?)

Liczyłem, że dostanę 60, null, 35, 4.594595 a tu moim oczom w bazie ukazją się potworki
`"{60, null}"
"{35, null}"
"{null, 4.594595}"
`

Jak to ogarnąc aby były normalne wyniki
Tzn. coczekuję 60, 35, 4.594595 lub ew. null

Nie używaj Sparka do Machine Learning

https://bulldogjob.pl/readme/nie-uzywaj-sparka-do-uczenia-maszynowego

#machinelearning #programowanie #naukaprogramowania #spark

Szukam prezentu dla fana #f1 i pomyślałem o modelu bolidu Maxa Verstappena. Czy znacie może producenta modeli #spark ? A może jakaś inna firma lepsza? #modelarstwo


#f1

używał ktoś aplikacji #spark do kupowania biletów na a4?
wszystko działa nie ma przypału? bo tam w porównaniu do etolla po prostu kupuje się bilet bramka A -> bramka B i tyle?

#polskiedrogi #a4 #etoll

Cześć, dostałem mały projekt w pracy w pysparku. Mała transformacja danych i wrzucenie wyników do nowej tabeli. W punktach opiszę co trzeba zrobić:
1. 4 uniony
2. Pobrać tabelę z mappingiem
3. Zrobić joina (te 4 uniony i mapping)
5. Przerobić 2 kolumny na podstawie wartości, i dodać dwie puste kolumny
4. Wykonać prostą agregacje danych -> groupby po 5 kolumnach.
6. Wrzucić wyniki do nowej tabeli

Tabela z unionami ma łącznie 7k rekordów. (7k wierszy i 7 kolumn)
Tabela z mappingiem max 300 wierszy
Jednak cały czas mam problem z pamięcią, GC czy timeoutami. Próbowałem zwiększać limity pamięci jednak nic nie pomaga. Przeważnie dostaje error: gc overhead limit exceeded. Troche dziwne bo to jest raptowanie 7k rekordów, po agregacji ma wyjść ~~3k. Ktoś wie jak to rozwiązać?

#pyspark #spark #dataengineering #hadoop
#programowanie #python #scala

Hey #scala
Macie może jakieś dobre tutoriale, dokumentację odnośnie implementacji ZIO ze #spark ?

Na głównym repo ziverge od zio-spark nie mogę dużo znaleźć, a znowu film Pana Leo Benkela bardzo mnie zaciekawił i chciałbym trochę bardziej zgłębić temat:



#apachespark #databricks

Słuchajcie mam zagadkę. Z zakresu troche fanaberii i sci-fi.

Raczej mniej istotne tło problemu:

Tworzę sobie Wheela w #pythonie i do pełnego wykorzystania tej libki, którą zbuduje jest potrzebna inna libka udostępniana jako plik .JAR.
Lokalnie jak sobie z tym pracuje i odpalam kod w ramach mojego develpmentu na sparku to mam zwyczajnie załączony ten JAR w odpowiedniej lokalizacji i wskazuje go podczas budowania SparkSession. Tak jak na uproszczonym przykłądzie poniżej:

spark = SparkSession.builder.config("spark.jars", "./lib/.jar").getOrCreate()

o odpowiednie dostarczenie tego pliku dba moj prosty skrypt bashowy, ktory sobie dany develper juz sam odpali pdczas konfigurowania lokalnego środowiska develperskiego.

No i teraz problem wlaściwy:
Chce zbudowanego przeze mnie wheela używać an databricksach. Żeby móc to zrobić muszę oprócz mojego zbudowanego wheela zaisntalować też ręcznie na klastrze wspomnianego JARa.

Jak podejść do tematu zarządzenia taką zależnością aby w przyszłości użytkownik nie musiał ręcznie instalować wspomnianego JARa na databricksowych clustrze?
Czy w ogóle byłoby to możliwe aby po instalacji mojego wheela z ADSL'a automatycznie też "dogrywała" się dodatkowa zależność w postaci zewnętrznego JARa z mavena na wybranym klastrze databricksowym? Chciałbym zdjąć tę odpowiedzialność z przyszłego użytkownika mojego pythonowego wheela.

Jak do tego tamatu możnaby podejść?


#apachespark #spark #databricks #python
#jvm (z racji tego, że potrzebuję wspomnianego JARa zaisntalowanego na saprkowym klastrze obok Pythonowego Wheela)
#programowanie
#azure (mam databricksy na cloudzie microsoftu - jeżeli może się to jakkolwiek okazać istotne)

Kurcze mam dane 145 kolumn, 100k wierszy. Wrzucam do glue/sparka i mam kilkadziesiat krokow. W wiekszosci cos w stylu a*b itd (testuje sobie).
Większość kodu to funkcje np jak poniższa:

`def handle(gc: GlueContext, df: DynamicFrame) -> DynamicFrame:
return ApplyMapping.apply(frame=df, mappings=t)`


`def t(rec: DynamicRecord) -> DynamicRecord:
rec['test'] = random.randint(0, 9)
return rec`


No i wydajnosc tego to np 2-4 min na taki jeden krok - co mi sie wydaje dosyc dlugo.
Nagle przeprocesowanie 100k i 20 krokow to kwestia godziny (50 workerow). Zwiekszanie workerow nawet powoduje wydłużenie czasu.

I to juz po partycjonowaniu danych - wczesniej to czasy były absurdalnie wysokie.

Ma ktos jakieś rady, Co powinienem sprawdzic/przeczytać?

#awsglue #glue #spark

Siema, poszukuje apki DJI 4 mod 2.0, skąd mogę pobrać? Miałem na starym telefonie ale nie pamiętam skąd pobrałem. Apka dla Sparka by latać na fcc.
#dji #spark #drony

Ja się pytam gdzie jest cały #spark od Rippla?
#xrp #kryptowaluty

Potrzebuję zrobić #hurtowniedanych w #sqlserver ale jako narzędzie do #etl służy mi #spark, a konkretnie #pyspark

Macie może jakieś dobre materiały albo przykładowe kody, żeby podejrzeć jakieś dobre praktyki?

Jak ogarnąć slow changing dimension? Metadane itp.?

Znacie jakieś dobre repo do którego mógłbym zajrzeć?

#data #bazydanych #programowanie

Czy da się jakoś w #spark dodać stopkę w HTML z odnośnikami do lokalizacji miniaturki i innych grafik?
Jeśli tak, to jak?

#osx #ios

#spark #scala #programowanie

Nie działa mi 1 przykład z dokumentacji sparka: https://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html

val df = spark
.readStream
.format("kafka")
.option("kafka.bootstrap.servers", "host1:port1,host2:port2")
.option("subscribe", "topic1")
.load()
df.selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)")
.as[(String, String)]

podkreśla ostatnią linijkę "unable to find encoder (String, String)". An implicit encoder is needed to store (String, String) instances in Dataset

Tak to jest się uczyć z książki w której przykłady nie działają, bo są bez konfiguracji.
Próbuję zapodać przykładowy structured streaming sparkiem do kafki i same problemy. Większość już rozwiązałem, teraz mam na drodze ten:

org.apache.spark.AnalysisException: value attribute unsupported type bigint. value must be a(n) string or binary;
at org.apche.spark.sql.kafka010.KafkaWriter ...

kod:
val stream = spark.readStream.format("rate").option("rowsPerSecond" 1).load() // to streamuje liczby long co sekundę

val query = stream.writeStream.outputMode(OutputMode.Append()).format("kafka")
.option("kafka.bootstrap.servers", "localhost:9092").option("topic", "myTopic")
.option("checkpointLocation", "/home/programista4k/tmp").option("failOnDataLoss", "false").start()

Streaming który zapodaję to long a nie bigint, ale niech będzie, rozumiem, że muszę to przekonwertować np. do string? Jak to zrobić? Jakiś stream.map(i => i.toString()) by się przydał, ale nie wiem jak to zrobić.



#programowanie #spark #kafka #scala

Najbardziej w #spark wkurza mnie to, że niestosuje się enumów w zapodawaniu opcji.
Weźmy teakie streamowanie:
spark.readStream.option(???, ...)

skąd mam wiedzieć jakie sa możliwe klucze dla option? Googluję i nie ma. Jest dokumentacja opisowa na wiele stron a prostej tabelki nie ma.
#programowanie

Latające Mirki, jak myślicie, jak uczciwa cena za taki w pełni sprawny zestaw #dji #spark? Baterie 31, 12 i 42 ładowania.

#drony

Hej
Dzisiaj podczas lotu mój spark po prostu spadł z okoły 20m, według mojej wiedzy nie zrobiłem nic co mogło by to spowodować. Jest teraz błąd. ESC status error, z tego co sie dowiedziałem od youtube płytka od regulacji obrotów na jedym smigle do wymiany(to śmigło się grzeje i nie świeci). Dziwi mnie temat ze w aplikacji DJi assistand 2 nie mam tak wielu opcji jak na fimach na yt i nie moge przetestować motorków w programie. Ogarnia ktoś temat? ;p Da rade gdzieś kupić ta płytke taniej niż na allegro (90zł)
#DJI #dron #spark

Musiałem ogarnąć syf i wykręciłem blokadę amortyzatora (fox 32) przez co wyciekło trochę oleju. Automatycznie przestała działać blokada skoku, minimalnie blokuje. Moje pytanie czy ten olej, który wyciekł (z góry, z blokady) mam dolać od dołu? Czy od góry? Amortyzator z 2020, świeży!

#rower #szybkiepytanie #pytanie #fox #scott #spark #mountainbike #mtb #serwisrowerowy

Cześć koleżanki i koledzy,

Od jakiś 2 lat mam DJI Spark. Jest sens zmieniać na Mavic Mini? Kusi te pół godziny lotu bo w sparku te 10 minut mija mega szybko.

Dodam ze latanie typowo wakacyjne/rekreacyjne. W sparku zrobiłem ostatnio FCC mod i mam stabilny obraz do tych 1000m.

#drony #dron #dji #mavic #spark

może mi ktoś wytłumaczyć w jaki sposób działa fpv w racingowych dronach, które umożliwia płynny podgląd pomimo znajdowania się poza ścianami budynku w którym latają drony? jest masa filmików gdzie ludzie latają po opuszczonych budynkach przemieszczając się między pomieszczeniami na płynnym podglądzie. drony typu spark, mavic urywają podgląd gdy dron chowa się za budynkiem. wytłumaczy mi ktoś jak to działa? czy w Racingowych dronach jest zastosowana inna metoda łączenia fpv niż za pomocą wifi 2,4 lub 5,8 GHz?

#drony #drone #dji #quadcopter #modelarstwo #fizyka #gadzety #wifi #spark #mavic

Panowie,
Jest ktoś na sali komu udało się skonfigurować databricks-connect i pracuje z lokalnego IDE na #databricks?

Albo może używa tego projektu: https://github.com/bricksflow/bricksflow ?

Walcze z tym gównem już stanowczo za długo i jesli jest ktoś kto by podpowiedział jak udało mu się to skonfigurowac to byłbym super wdzięczny.

#programowanie #spark #azure #aws #databricks