Jak wyciagnąć link ze strony po kliknięciu w pewien przycisk który wyswietla zmienioną listę na tej stronie? Link caly czas jest ten sam do konsoli a zmiana dziala jakoś z poziomu javascriptu... To jakbyś wszedł na pogodę na wp.pl i zamiast wp.pl/pogoda masz caly czas wp.pl #scrapping #python #javascript #html #webdev #php #webscraping
blacktyg3r
2024-03-03 18:40:59
+1
@fifiak: Rozpoczynasz przygodę ze grzebaniem od front-endu, poczytaj o Selenium albo playwright, frameworki które mogą 'udawać, że są zwykłym użytkownikiem (głównie stosowane do testów).
W ten sposób łatwo podjąć interakcję ze skryptami i dostać się do interesujących nas danych.
PS. Często otwierając konsolę deweloperską możemy znaleźć adresy URL do niepublicznych API które strona wykorzystuje do pobierania danych - jeśli nie masz zamiaru robić nic 'złego' to można w ten sposób dostać się łatwiej do danych np. w JSON, o niebo przyjemniejsza praca niż od front-endu :).
W ten sposób łatwo podjąć interakcję ze skryptami i dostać się do interesujących nas danych.
PS. Często otwierając konsolę deweloperską możemy znaleźć adresy URL do niepublicznych API które strona wykorzystuje do pobierania danych - jeśli nie masz zamiaru robić nic 'złego' to można w ten sposób dostać się łatwiej do danych np. w JSON, o niebo przyjemniejsza praca niż od front-endu :).
fifiak
[OP]
2024-03-03 20:05:17
+0
@blacktyg3r o tym wiem co napisałeś, ale mam skrypt gotowy który skrapuje dane z ogolnej strony a z podstrony nie da się bo nie ma adresu.. a json wyswietla jakieś dziwne dane które mnie nie interesuja. Robią "bota" ktory sam to przeklika zmusza mnie do robienia całkiem nowego /innego skryptu