Szukam osoby która ma doświadczenie w webscrapingu i potrafi zbudować program/projekt od podstaw. Robota odpłatna. Potrzebuje programu ktory bedzie zbieral dane w czasie rzeczywistym i je przetwarzał.
#it #webscraping #programista15k #programowanie #python

Darmowe warsztaty z web scrapingu i analizy danych – Warszawa, lipiec 2025

Cześć Wykopowicze 👋

Jeśli interesujecie się web scrapingiem, automatyzacją zbierania danych lub analizą danych z sieci, to mamy coś dla Was!

Firma Bright Data organizuje w lipcu 2025 bezpłatne warsztaty w Warszawie. W planie:

Praktyczne sesje z ekspertami
Przykłady zastosowań w realnych projektach
Dema narzędzi do scrapingu i analizy danych
Networking z innymi specjalistami z branży
📍 Rejestracja (za darmo, liczba miejsc ograniczona):
👉 https://brightdata.com/lp/workshop-warsaw-july2025

Jeśli pracujesz z danymi lub po prostu chcesz dowiedzieć się więcej o tym, jak zbierać i wykorzystywać dane z sieci – warto wpaść.

Do zobaczenia w Warszawie! PL

#warsztaty #webscraping #programowanie #dane #datascience #warszawa #brightdata #wydarzenia #it #bigdata #ai

#prawo #informatyka #it #cyberbezpieczenstwo #webscraping
Mam scrapper który zbiera publicznie dostępne dane (dostępne bez żadnej autoryzacji). Jednak strona internetowa, z której pochodzą te dane, zabrania w regulaminie korzystania z botów do ściągania danych. Dodatkowo, udostępnia płatne API na te dane.
Czy w świetle prawa korzystanie z tego scrappera do ściągania danych, które potem są wykorzystywane w celach komercyjnych jest nielegalne?

Macie jakiś działający sposób na wyciąganie oceny filmów z filmweba?
Python i Grok/DeepSeek się poddają, tzn. skrypt czasem ściągnie czasem nie, nie wiem od czego to zależy. Stąd pytam, może już jest jakaś pancerna biliblioteka ;)

Może problem też jest w szukaniu filmu, tj. mam search bar, podpowiada tytuły na bazie IMDB (tytuł i rok), i chyba ciężko czasem to dopasować pod filmweb.

#python #programowanie #webscraping #skryptowanie #filmweb

Wie ktoś może, w jaki sposób działają aplikacje/strony z gazetkami sklepowymi? Chodzi mi o takie jak Blix, Goodie, gazetki.pl, które wyświetlają gazetki reklamowe z różnych sklepów, wraz z datą obowiązywania promocji, czy nawet wyciągając konkretne promocje osobno, żeby można było je sobie zapisać.

Mają udostępnione niepubliczne API? Web scrapping ze stron sklepów? Wyciąganie danych z obrazów OCR-em?
Nie wydaje mi się, żeby ktoś ręcznie to wyciągał, wpisywał i oznaczał, bo jest tego całkiem sporo i często się zmienia.
Ciekawi mnie, w jaki sposób to robią.

#webdev #webscraping

Staram się poduczyć trochę o programowaniu, no a zawsze się mówi, że najlepiej gdy ma się jakiś projekt. Wymyśliłem sobie, że zliczę sobie łączny czas jaki poświęciłem, na obejrzenie filmów i seriali jakie mam zapisane w bazie Filmwebu. Jako że nie wyciągnę tych informacji z ich danych (nawet nie o to by mi chodziło w tym projekcie), chciałbym zrozumieć jak mogę zautomatyzować proces ściągania tych danych, po prostu korzystając z tych informacji które się wyświetlają na stronie. Nazywa się to chyba metodą webscrappingu?
W każdym razie, nawet nie chodziłoby mi o to, aby czytać każdą informację ze źródła każdej strony (może na pierwszy sposób) - tylko może jakoś zrobić program, który kazałby komputerowi patrzeć w określone miejsce na stronie, rozpoznał co tam pisze, przekonwertował dane do excela.

Chciałbym to zrobić na dwa sposoby, ten drugi, wizualny w ogóle nie wiem jak zacząć. Jak mógłbym to zrobić?

Jeśli chodzi o pierwszy sposób, zapytałem chatagpt, no i do VCS, kazał mi wkleić coś takiego. Zainstalowałem bibliotekę soup w cmd pipem.
Uruchomiony skrypt (z wpisaną poprawną nazwą profilu filmweb), nie generuje nic do zapisanego pliku .csv - więc pewnie chodzi o to że identyfikatory ze strony nie są dobrze ściągnięte. Jak klikając na nazwę filmu na filmwebie, mogę po "zbadaj element" zobaczyć które parametry należy wpisać do skryptu aby dane się zaciągnęły?

#pytanie #programowanie #python #filmweb #webscraping #webdev

Robię apkę w pythonie, która scrapuje jedną ze stron. Za zgodą admina, ale rzucił we mnie reCAPTCHA i napisał, żebym ograniczył liczbę logowań i korzystał z ciasteczka, które jest ważne przez godzinę.
Do logowania i poruszania się po stronie używam Mechanize. Wyczytałem, że Mechanize automatycznie przechowuje ciasteczka. Apkę mam napisaną obiektowo i rzeczywiście w każdej klasie oddzielnie inicjowałem mechanize.browser() logując się ponownie. Wymyśliłem, że zaloguję się raz, a potem będę starał się utrzymać tę sesję przy życiu odwołując się do niej z każdego miejsca apki, o tak:
https://pastebin.com/0uwyMJLZ
Pytania:
1. Czy to w ogóle prawidłowe podejście?
2. Jeśli tak, to podpowiecie może sposób w jaki najlepiej by to było przetestować, zanim napiszę adminowi, że zmieniłem poprawiłem i żeby zdjął reCAPTCHE?

#python #programowanie #webscraping

Jak wyciagnąć link ze strony po kliknięciu w pewien przycisk który wyswietla zmienioną listę na tej stronie? Link caly czas jest ten sam do konsoli a zmiana dziala jakoś z poziomu javascriptu... To jakbyś wszedł na pogodę na wp.pl i zamiast wp.pl/pogoda masz caly czas wp.pl #scrapping #python #javascript #html #webdev #php #webscraping

Czy działał ktoś kiedyś ze scrapingem danych jeśli chodzi o utwory muzyczne? Potrzebuje wyciągnąć daty premier ok. 500 polskich piosenek. Próbowałem z pythonowym "Spotipy", ale Spotify ma miks w tym przypadku, czasem daty się zgadzają, a czasem są to daty jakieś re-edycji lub po prostu dodania do serwisu. ChatGPT też nie działa - wygląda jakby rzucał pierwszą datą znalezioną w google i tutaj ma się to podobnie jak Spotify, przy wyrywkowym sprawdzaniu, dużo się nie zgadzało. Szukajka ZAIKSowa to też jakieś nieporozumienie ;(

#python #ai #gpt #muzyka #dane #przetwarzaniedanych #webscraping #skrypty

Mirki, czy i jak można za pomocą node robić web scraping strony, która wymaga logowania?
Dla przykładu załóżmy, że chcę pobierać statystyki oferty ze strony otomoto.
(Załóżmy oczywiście, że strona nie udostępnia takich informacji poprzez API)

#webscraping #nodejs #programowanie #programista15k

Mam jakieś 1k linków do aukcji konkurencji (docelowo pewnie bym chciał do 10k aukcji) z których chcę pobierać dane do raportu w PowerBI, dokładnie cenę i ilość (albo prosto do PowerBi albo przez skrypt pythona i wtedy do PowerBI).

Nie interesuje mnie moment pobrania tych 1k-10 aukcji, bardziej interesuje mnie kwestia odświeżania danych, czyli ceny oraz ilości.

Czy allegro szybko wyłapują takie ruchy przy takiej ilości? Jakiś sposób na obejście, sprawdzone metody? Czy opóźnienia pobierania coś dają? Co jaki czas odświeżać i kiedy? itp.

Jest komercyjne rozwiązanie, ale ono niestety wyszukuje tylko po EANie, ale może ono kogoś zainspiruje jak ktoś inny to rozwiązał.
https://baselinker.com/pl-PL/pomoc/wiedza/sprawdzanie-cen-konkurencji/

#allegro #ecommerce #scraping #webscraping #programowanie #powerbi

#scraping #webscraping #selenium

czy ktoś używał z was serwisów typu zenrows do scrapowania danych? Zazwyczaj radziłem sobie ze zmianą headerów, ewentualnie mniejsze batche, jakieś darmowe proxy. Teraz problem jest taki, że wystarczy otworzyć 5 kart z danej strony i już jest podejrzenie bycia botem :P dlatego rozkminiam nawet takie portale.

dlaczego klasy CSS na allegro mają tak dziwne nazwy
czy zmieniają się co jakiś czas czy są stałe

#programowanie #webscraping

jest jakiś sposób żeby allegro nie wykrywało bota napisanego w js i #puppeteer ?

#programowanie #javascript #webscraping

#paywall #chatgpt #piractwo #webscraping

Podobno ChatGPT mógł obejść paywalle.
Jak?

Czy jest jakiś sposób, żeby dostać się do treści ze strony? Jeśli tak, to jak?

Czy po prostu OpenAI miało wykupione subskrypcje do tych wszystkich serwisów?

Tutaj info o tym, że ChatGPT omijał paywalle: https://comparic.pl/chatgpt-napotkal-pewien-problem-w-zwiazku-z-tym-openai-informuje-o-zrobieniu-kroku-wstecz/

Hejka #programowanie #webdev #hacking #kiciochpyta #pytaniedoeksperta

Szukam #webscraping który wygeneruje linki do wszystkich treści publikowanych na moim profilu. Linki mogą sobie być zapisane jako adresy url w formacie txt, obojętne. Wystarczą same linki.

TEN WPIS NIE MA ŻADNEGO ZWIĄZKU Z Usunięcie twoich WSZYSTKICH publikowanych treści na wykop.pl ANI Z ARTYLKUŁEM NA telegra.ph.

#niebezpiecznik @niebezpiecznik-pl

Dzień dobry, szukam biblioteki do webscrapingu, najważniejszym parametrem jest chyba szybkość. popróbowałem requests plus bs4, problem jednak w tym że jest wolno. Chce ten kod wsadzić do programu okienkowego, więc najchętniej bym przyspieszył jakoś dostęp do danych, by poprawić płynność.
#python #webscraping

#webscraping

Hej, jak teraz uniknąć 403 na OLX używając scrapy?
Useragent nic nie daje.

chce zescrapować stronę, na której jest dużo textboxów i comboxów, w których są już konkretne wartości. Niestety w kodzie w htmlu wartości z tych boxów nie ma. Czy da się to jakoś zescrapować BeautifulSoupem, czy on po prostu wyciąga tekst z kodu html? Np. żeby znalazł value dla danego id. Dołączam screena jak to wygląda np. na wykopie, gdzie domyślny wartość z textboxa jest w kodzie html, u mnie tego nie ma #python #webscraping #html

Potrzebuję pobrać do #googlesheets aktualną cenę danego produktu z #olx po podaniu linku.

Udało mi się na razie napisać:

=IMPORTXML(URL;"//div[contains(@class,'css-dcwlyx')]")

Ale raz działa, raz nie i zasysa zbędne dane.

Ktoś ogarnięty w #xpath, #webscraping pomoże?
#programowanie

Pierwszy w życiu zrobiony #webscraping i humor gituwa

#anonimowemirkowyznania
Cześć, z góry zaznaczam, że nie mam konta na wykopie i nie mam się kogo poradzić. Od razu podam tagi #programowanie #naukaprogramowania #python #scraping #webscraping

Wymyśliłem sobie taki plan. Zapytacie się jaki? Kurna sprytny.( ͡° ͜ʖ ͡°) Chciałbym scrapować nazwy produktów+ceny tych produktów. Słabo się znam na programowaniu, ale myślę, że ogarnę na podstawie filmików na yt i nauczę się czegoś przydatnego. Chodzi o inną kwestię, wyczytałem w internecie, że za webscraping można dostać bana na ip za zbyt dużo zapytań na stronę. Niby mam częściowo zmienne ip(trzecia i czwarta liczba w ip zmienia się poprzez reset routera, ale boję się o bana na zakres ip(cs 1.6 #pdk) I tutaj mam parę pytań:
1. Zamierzam scrapować ok 50 produktów i ich ceny z jednego linku(w sumie ok 600 produktów=12 linków do poszczególnej listy produktów i cen; 6-8 domen). Oznacza to, że odpalając pythona z jednym url i pobieraniem 100 danych, strona będzie widzieć to jako 1 request czy 100 requestów(bo pod jednym url pobieram 50 nazw i 50 cen)?
2. Wyczytałem również, że można zabezpieczyć się poprzez proxy. Stawiać linuxa mint i proxychaining na wirtualnej maszynie? Czy tylko zmiana ip i user-agent w kodzie pythona? Czy olać to bo i tak zmienne ip?
Strony w swoich regulaminach zabraniają takich rzeczy, ale cebula here, inflacja, nauka czegoś nowego itp.
Nie zamierzam atakować stron non stop, raz dziennie wystarczy z kilkunastosekundową przerwą między linkami)
Thank you from the mountains

---
Kliknij tutaj, aby odpowiedzieć w tym wątku anonimowo
Kliknij tutaj, aby wysłać OPowi anonimową wiadomość prywatną
ID: #62d2f16992022bdb5cf1d621
Post dodany za pomocą skryptu AnonimoweMirkoWyznania ( https://mirkowyznania.eu ) Zaakceptował: karmelkowa
Wesprzyj projekt

Strona nie pozwala na prostego requesta html, komunikat "Please turn on Javascript". Czy da się to jakos obejsc?
Sprawdziłem w devtoolsach i wszystkie dane które potrzebuje są na stronie statycznie bez wywoływania żadnego skryptu.
#python #programowanie #webscraping #webdev

Potrzebowalbym narzedzie, ktore weszloby mi na strone i pobralo html z kilkuset podstron, plus od czasu do czasu rozwiazalo captche v2. Zrobilem maly research i nie znalazlem nic rozsadnego/darmowego, serio wymagam tak wiele?
Nie siedze w ogole w webdevie, wiec pisanie jakis skryptow srednio widze.

#webdev #informatyka #webscraping

Mirki wiecie jak wyciągnąć datę stworzenia ogłoszenia na otomoto? Data pod zdjęciem to oczywiście data odświeżenia, szukałem po requestach ale nie widzę nigdzie.
#otomoto #programowanie #webscraping #scraping