* Pierwsza wersja z UI opartym na frameworku Flet * Lista zadań, która jest zapamiętywana nawet po wyłączaniu programu * możliwość wyboru kolorystyki i motywu * Kilka nowych rozwiązań * Oznaczenie sądu jest teraz listą pozwalającą na wyszukiwanie, na liście są również przypisy np. KR1M w Miechowie zamiast KR1M
Samo UI ma pozwolić mi na łatwiejszą modyfikacje i wprowadzanie zmian. Teraz zacznę w końcu wprowadzać poprawki i zmiany, które zbierałem przez ten czas, gdy nie miałem czasu skończyć tego UI. Zapewne pojawią się jakieś nowe błędy, ale teraz powinno być już z górki.
Główne zmiany dotyczą modułów pobierania, od teraz pobieranie zwykle jest zastąpione przez pobieranie, które jest obecnie bardzo szybkie i działa wielowątkowo. Stare pobieranie turbo to teraz pobieranie asynchroniczne i jest ono obecnie wolniejsze od nowego rozwiązania.
@recc to niezły boost prędkości, nowy tryb wymaga kilku poprawek, między innymi muszę zaimplementować pause I stop tak jak w starym trybie, ale cieszy mnie że to zaczyna to działać lepiej
* Od teraz wersja programu oparta na QT jest w branch Legacy * Dodano brakujące zapamiętywanie opcji przeglądarki i braku grafik na stronie * Dodano radzenie sobie z wyjątkami w działaniu przeglądarki * Drobna optymalizacja * Okno przeglądarki się samo minimalizuje
@affairz z blokadą po 30 próbach jest ten problem, że nie udało mi się takiej sytuacji od tworzyć i u mnie nie występuje, potrafię pobrać 100-200 ksiąg ciągiem bez problemu, nie wiem z czego to wynika, ale możesz spróbować
Odnośnie blokady IP przez serwis to po malibu mnie odblokowali, nadal męczę ich o podanie powodu blokady i o informacje jak wiele wejść na stronę można wykonać, aby bana nie wyłapać. Na razie wiem, że bany są czasowe, więc es.
Co nowego?
Szybsze pobieranie indywidualnej księgi Lepsze zarządzanie śmieciami tymczasowymi tworzonymi przez selenium Naprawiono błąd przy nieuwzględnianie parametrów podczas generowania listy KW do pliku Przebudowywanie kodu Możliwość zmiany motywu na jasny Akcenty w trybie ciemnym mają fioletowy kolor
@DEMONzSZAFY zakładając że pobieramy do PDF każdą i że każdy numer jest wykorzystany to daje nam około 6500 tb, ale można spokojnie założyć że 1/3 numerów jest niewykorzystana więc jeśli zarezerwujesz sobie 4000 tb to powinno Ci to spokojnie wystarczyć.
Przy pobieraniu do formatu json pierwszego działu, aby otrzymać relacje numer działki-kw to 10 tb, przy założeniu że 1/3 numerów nie ma księgi
Cześć, mailem ostatnio z boku projekt programiku do eksportowania danych z pliku gml dla EGIB wg. Rozp. 2021 otrzymywanego z podgik do formatów, które można wykorzystać w innych oprogramowaniach niż tylko te ściśle do tego przeznaczone jak np. C-GEO.
Program nazywa się PowerGML i jest darmowy. Jest to pierwsza wersja oprogramowania, więc ma sporo bugów, ale będzie rozwijana.
Na ten moment program: * Eksportuje surowe dane opisowe do XLSX * Eksportuje surowe dane do SQLite db * Eksportuje połączone w relacje dane o właścicielach i działkach do XLSX * Eksportuje działki do SHP * Eksportuje punkty graniczne z atr do SHP * Eksportuje działki i punkty do dxf
Jak widać program służy do eksportu danych, a nie pracy na nich w programie, jeśli ktoś chciałby korzystać z takie bardziej przeglądarki to na GitHub jest gość, który nad czymś takim pracuje: https://github.com/RybarskiDominik/GML-2021
Super, kiedyś sam zacząłem tworzyć coś do przeglądania gml z danymi opisowymi EGiB, nawet działało w miarę poprawnie, z wyjątkiem małżeństw i kilku innych przypadków, bo od tych zależności w xsd udostępnionych przez GUGiK mi się odechciało. Więc gratulacje! Przy okazji, domyślam się że to zbieżność nazw, bo (niestety) korzystam jeszcze z PowerGPS ( ͡° ͜ʖ ͡°)
Jak pewnie część osób bardziej wykorzystujących program zauważyła że ekw.ma.gov.pl zaczął blokować IP osób pobierających księgi na wiekszą skalę. Wyrywkowo pojawia się też weryfikacja człowieczeństwa w formie pytania logicznego.
---
Ehh...związku z tym będę próbował to pewnie po wakacjach jakoś obejść, ale będę musiał zagłębić temat bardziej co jest powodem banów, czy są one czasowe, ile można pobierać, aby niewylapać blokady.
Wystosowałem też maila do serwisu strony z zapytanie odnośnie podstawy blokowania dostępu do uwolnionych danych, czasu takiej blokady i klucza na jakiej podstawie są blokady dawane, jednakże jestem realistą i spodziewam się braku odpowiedzi/zbycia mnie jakimś pierdu pierdu o niczym.
Jeżeli ktoś ma pomysł na uniknięcie blokad lub opracował sposób omijania blokady to zachęcam do podzielenia się wiedzą.
---
Osoby tagu #geodezja może zainteresować czytnik plików gml (EGiB 2021, może też EGIB 2015) nad którym pracuje, ma on zapisywać dane opisowe do xlsx wraz z utworzonymi już relacjami, działki do SHP, ewentualnie DXF. Na ten moment to wstępnie już działa, ale udostepnie jak już skontroluje działanie i może jeszcze dodam jakąś funkcjonalność.
Co nowego? * pozbyłem się niepotrzebnego kodu i odchudziłem program ze 160 mb do 120 mb * Generowanie i pobieranie z zakresu ma teraz opcje parametrów, dzięki czemu znając ostatnią cyfrę numeru oraz cyfrę kontrolną możemy zawęzić zakres poszukiwania np. zdobywając te dane ze strony ekw.plus po wpisaniu identyfikatora działki * Zapamiętywanie ostatnio używanych parametrów z generatora * Odtwarzanie muzyki w tle powinno już działać prawidłowo (muzykę można wyłączyć z paska na górze, ustawienie jest zapamiętywane przy ponownym uruchomieniu programu) * Zapamiętywanie ostatnio wybranych działów KW * Pomniejsze poprawki
@RZM_4: ostatnio robiłem podział zrid, zawsze irytowałem się na badanie ksiag wieczystych( mozolne drukowanie do pdf), wyprobowalem programik i wszystko smiga az milo. Dzieki i innym polecam.
@WykopowyGeodeta też muszę pobierać księgi do zrid, stąd narodził się pomysł na program. Próbowałem korzystać z tego co oferuje C-Geo, ale to jakiś żart po 10 księgach się blokuj pobieranie
Dziś mamy update, zmieniłem styl graficzny na fusion o dałem czarny style sheet, myślę że w kolejnej wersji umieszczę wybór między jasnym i ciemnym stylem qt.
* Zapis pierwszego działu do json oraz xlsx, tworzy to zestawienie działek i powierzchni z działu pierwszego KW. Jest to jeden plik dla całego pobierania i może być wyłącznie to pobierane. Pozwala to na łatwe wyszukiwanie jakie działki są w jakim KW i jakie powierzchnie mają w Sądzie (powierzchnia z sądu może nie pokrywac się ze stanem EGiB).
!!W komentarzu screeny jak wygląda nowa opcja zapisu w pliku wynikowym!!!
* Zapis księgi jeżeli wewnątrz niej znajduje się numer działki z listy txt (lista powina zaierać numer działki, a nie pełen identyfikator, ponieważ często go nie ma w księdze. Pozycje na liście są rodzielane nową linią) - opcja znajduje się w ustawieniach i należy ją zaznaczyć oraz wybrać plik txt.
* Poprawiono nadpisywanie pobranych, aby uwzględniać pliki niescalone
* Poprawiono skalowanie UI w przypadku windowsowego skalowania innego niż 100% dla wysokoch DPI.
* Wybór domyślnej przeglądarki z jakiej chcemy korzystać, na liście jest chrome, edge, firefox (friefox nie działa zapis do pdf), w planach dodanie safari oraz wersja na maca.
* Pozbycie się nieużywanego kodu, rozpoczęcie czyszczenie kodu z syfów.
---
Co w planach?
* nowe ikony
* rozpoczęcie pobierania o zaplanowanym czasie
* tryb detektywa (odszukiwanie potencjanych numerów KW na podstawie pełenego identyfikatora działki)
* generowanie numerów z parametrami np. znamy oznaczenie sądu ostatnią cyfrę księgi oraz cyfrę kontrolną, a następnie zostaną obliczone potencjalne numery spełniające te parametry
* Zapis księgi z numerem działek/pierwszej działki w KW
@affairz dokładnie mam pomysł wykorzystać to co napisał ten Mirek i tak w pierwszej kolejności chce zrobić generowanie listy parametryczne, a następnie zrobić właśnie ten tryb detektywa, który po wpisaniu numeru działki wydobywa te informacje ze stronki typu ekw.plus, z informacji jest generowana lista z parametrami, która następnie ma sprawdzane jakie działki są w dziale pierwszym tych ksiąg i jeżeli jest Match to księga zostanie dopiero pobrana i w ten sposób otrzymamy już konkretną księgę bez dodatkowego udziału użytkownika, ja wiem że to nie będzie szybkie, ale sama myśl że będzie to obejście tych stronek krążących sobie za to płacić jest bardzo motywująca
@RZM_4: Dorzucę taki mały tip. Jak chcemy znaleźć księgę wieczystą do konkretnej działki i chcemy trochę ograniczyć zakres przeszukiwanych księg to:
1. Wchodzimy na geoportal, znajdujemy działkę, prawy > kopiujemy identyfikator działki. 2. Wchodzimy na https://ekw.plus/ 3. Wklejamy identyfikator działki do Wyszukaj KW i Wyszukaj. 4. Dostaniemy wynik ze znalezioną księgą wieczystą. Stronka wyświetla kod wydziału, ostatnią cyfrę księgi i cyfrę kontrolną. 5. Potem zabawa w excelu + https://romek.info/ut/kw-serial-gen.php
Co nowego: * Zapis do formatu HTML (na razie mam tekst i linki) * Zapis do formatu TXT * Zapis raportu z wyszukania dla każdej księgi osobno (z okienka po wpisaniu numeru, ale przed wybraniem treści) do JSON * Zapis raportu z wyszukania do jednego pliku(z okienka po wpisaniu numeru, ale przed wybraniem treści) do CSV * Baner przenoszący kliknięciem do tagu * 8 bitowa muzyka * Pobieranie/generowanie numerów KW nie mrozi okna programu * Tryb pauzy * Zatrzymywanie pobierania (Zatrzymywanie i pauza następują po zakończeniu obecnego taska np. jeśli pobierasz po 5 ksiąg na raz to dopiero po ich pobraniu się zatrzyma) * w przypadku błędu pobierania przez Chrome program spróbuje poprać przez EDGE (chromium) * możliwość wyłączenia wyświetlania grafik na pobieranych stronach * poprawiono mniejsze błędy (skalowanie nadal nie poprawione przy innych ustawieniach niż 100%) * nadal stare UI, ale obudowane prawdziwy potwór Frankeisteina * nowe nieznane błędy!!!
Po weekendzie siądę do kolejnych poprawek i wesji 0.8
@Iandschaft: i tak moze sprawdzić wpisując losowe numery kw. Jak ogarnie się kw w jakimś obrębie to łatwo zgadnąć inne kw działek z obrębu. Właściwie mając bardzo dużo czasu można znaleźć wszystkie kw.
Zresztą żałosne portaliki mają wszystkie kw po nr działek i tak naprawdę każdy ma dostęp, musi zapłacić tylko 30pare złotych. Ogólnie to państwo z kartonu, to powinno być albo publiczne, wyszukiwarka albo całkowicie tajne. A tymczasem jest taki bubel. Tak samo jak z pożyczkami na dowód, wpisywaniem wszystkiego w koszta i innymi bublami, które promują w tym kartonie "zaradność" czyli cwaniactwo i krętactwo.
Dodano zapis działów do jednego PDFa (głównie dlatego wypuszczam już Update bo jeden z mirków chciał, oznaczam w komentarzu)
Tryb turbo dla pobierania KW z generatora numerów
Zmiana nazwy
Lekka zmiana UI
W następnej kolejności dodam plik pdf z instrukcją obsługi i wyjaśnieniem działania programu. Jak pisałem wcześniej szykuje Update wizualny, więc pomysłu mile widziane.
[0.5] Update programiku do pobierania Ksiąg wieczystych z ekw.gov.pl
Dodałem opcje pobierania wielu ksiąg asynchronicznie w tym samym czasie, pozwala to zejść do 7-8 sekund na pobranie księgi, w przypadku pobierania z generowanych numerów jeszcze tego nie dodałem, ale jak ktoś bardzo chce to może wygenerować listę do txt i wskazać ja jako źródło i wybrać pobieranie turbo.
@RZM_4: uuuu pchasz się pod młot uodo, bo jedyne kto takie rzeczy z KW może robić to prywatne podmioty podczas hehe awarii gdy można wyszukiwać z geoportalu ( ͡° ͜ʖ ͡°)
@tellet KW są ogólnie dostępne, nikomu nie daje i formacji jakie działki są w danym KW. Natomiast sposób obliczania cyfry kontrolnej potencjalnej KW jest ogólnie dostępny.
Choć z drugiej strony scrapowanie KW za darmo mogłoby kogoś rozsierdzić tak dla zasady ( ͡º ͜ʖ͡º)
Siema Mirki, zrobiłem ostatnio programik do pobierania ksiąg wieczystych.
Jeśli ktoś potrzebuje pobierać księgi w ilościach masowych to się nada, jest wolny (ok 15s na pobranie jednej księgi) i oparty na selenium, ale pozwala pobrać KW z listy, wygenerować listę potencjalnych KW z zadanego przedziału oraz ją pobrać. Wszystko jest na githubie więc korzystajcie jak chcecie jak wiecie co jest źle to też chętnie się dowiem to wtedy poprawie. Z fartem pozdrawiam.
@emrys niestety takiego nie znam, a pobieranie KW dla całego powiatu i sprawdzanie każdej księgi to szukanie igły w stogu siana, musiałby ktoś mieć algorytm który po pobraniu tworzy np. plik txt gdzie są wypisane wszystkie działki dla danego KW i wtedy szukasz działki i masz KW. Zapewne część z tych stronek działa w takich sposób, a część ma dane z czasów kiedy było to w geoportalu i z "awarii"
polac
2025-06-15 13:49:55
+6
Baalbasaur
2025-06-15 13:50:01
+5
