I c--j mogłem pić i oglądać żużel cały weekend to muszę się pouczyć na potrzeby roboty zarządania bazą PostgreSQL i ogólnie różnic pisania w niej rzeczy, bo umiem tylko MySQL jak p---a.
#przegryw #sql #mysql #postgresql

Chłop dołączył jako senior do firmy software’owej w niszy InsurTech pół roku temu. (C#/.NET + SQL Server) 4 programistów, 4 Hindusów. Pierwsze pół roku nie wychylałem się - chciałem poznać firmę, ludzi, ich styl, procedury itd., więc brałem taski, które mi dawali, i obserwowałem.

Po jakimś czasie stało się jasne, że największym obecnie problemem firmy od strony technicznej jest to, że główny produkt, który - powiedzmy -analizuje i przetwarza raporty w Excelu, potrzebuje coraz więcej czasu na każdy raport, w zależności od tego, jak dużo danych znajduje się już w bazie danych. Jeden klient, który musi mieć swoje własne, osobne environment, bo ma „aż” 2 miliony rekordów w bazie, potrzebował aż 64 godziny (tak, k---a) na przetworzenie pliku z 150k rekordów. Liczba godzin rośnie wraz z ilością danych w bazie.

Przez 6 miesięcy słuchałem, że będą próbowali wprowadzać konkretne strategie: myślą o przeniesieniu wszystkiego na PostgreSQL albo Cosmosa, żeby przyspieszyć, bo mamy dane też w JSON-ach i to niby przez to wszystko jest wolne. Gadki o zmianie infra, gadki o potencjalnym memory leak, gadki o wprowadzaniu CQRS. Nie wychylałem się, bo myślę sobie: ludzie pracują tu już od kilku lat, muszą wiedzieć, co robią - to musi być naprawdę skomplikowany problem. Nic to, dalej uczę się codebase’u i kminię.

Po kilku miechach stało się jasne, że nie do końca ufam temu, że wiedzą, co robią. Poprosiłem, żeby dali mi taska do optymalizacji głównego procesu. Duże oczy. „Ale ten i ten podejmowali się tego i zajęło im to kilka miesięcy, i nic nie przyspieszyło”.

Daj taska, sprawdzę - może zrobię.

Dali.

I co, k---a? I k---a znów INDEX, jak zwykle. Z 2-3 sekund na jeden rekord zszedłem do 3-4 sekund na 50 rekordów. Plik, który przetwarzał się w 64 godziny, teraz idzie 4 godziny - i ja nadal myślę, że da się to jeszcze przyspieszyć.

Mieli HashKey, którego używali do szukania duplikatów. Nie był zaindeksowany, bo był w NVARCHAR(MAX), którego nie da się dodać do indeksu. Dodałem calculated column, która robi konwersję z NVARCHAR na BINARY, dodałem indeks i w kodzie pozmieniałem, żeby tej nowej kolumny używał do szukania duplikatów. Z 1-2 sekund na zapytanie zeszło do 0.001.

Poprzednio, skanowal cala tabele, 2mln rekordow na kazdy element w 150K liscie...

Nie mogą się nadziwić. Nie chcę się tu jakoś prezentować jak jakiś ekspert-specjalista, bo nim nie jestem. Wziąłem po prostu Stopwatch, n-------m Log.Information() ze stopwatchami wszędzie, gdzie się dało, żeby sprawdzić, w którym miejscu w tej ogromnej funkcji jest bottleneck. Znalazłem właśnie to, dodałem indeks i tyle. Żadnej filozofii.

Koszt infra podobno 50% w dół, jesli to naprawde działa (nadal nie moge uwierzyc ze to bylo tylko to), bo te 4h potrzebowały teraz jedynie 4 vCores, gdzie poprzednio 64h było na 40 vCores wiec koszta ogromne…

Będę chyba wspominał, że 'Head of Development' nie mamy, a znam kogoś, kto by to wziął… Dobry moment

#programista15k #programowanie #uk #webdev #sql #dotnet

Pracowałem 5 lat przy obliczeniach z użyciem #mes a teraz pracuję klepiąc dashboardy w #powerbi używając przy tym #python i #sql i dochodzę do wniosku, że byłem głupi jak but wchodząc w tego mesa. Zarabiałem wielkie g---o, uczyłem się na studiach mechany i fizyki po nocach, potem wbiłem się do branży gdzie jest w porywach < 50 ogłoszeń o pracę na cały kraj, a wystarczyło nauczyć się raptem kilku narzędzi żeby zarabiać po 4 miesiącach tyle samo z mniejszym doświadczeniem XD Nie warto być ambitnym #praca #pracbaza #studia #zarobki #mibm