mirko.vip

tryb nocny

#parser najlepsze najnowsze

matti05 2017-12-01 11:46:45 nsfw +2
Próbował ktoś skutecznie pobierać zawartość postów i komentarzy z zamkniętych Facebookowych grup?
Graph API działa tylko dla otwartych. Próbowałem korzystać z Octoparse i różnie konfigurować, ale wyników brak/same duplikaty albo wyrzuca mi się straszny b----l, który w sumie nadal nie jest tym co trzeba.
#bigdata #datascience #parser #programowanie #facebook
1 komentarzy
xDrope 2017-12-01 12:48:19 +0
@matti05: scraper jakiś? Jak ogarniasz pytonga to scrapy przykładowo
Muscler 2017-11-01 00:02:27 +2
Mireczki czy jest możliwe parsowanie stron HTML w javascript poprzez cloud functions w firebase i pózniej wrzucenie tych danych do firebase database? :) jesli tak to w jaki sposób mozna to triggerowac? Np raz na pare dni? dopiero zaznajamiam sie z tym tematem dlatego szukam informacji :)

#programowanie #firebase #androiddev #android #parser
2 komentarzy
Mithrindil 2017-11-01 07:52:22 +1
@Muscler: w samym firebase chyba nie ale możesz postawić sobie prostą apkę która to będzie robić i wrzucać dane na firebase
wfd 2017-11-01 11:56:02 +1
Jest możliwe. Poczytaj o Firebase + CRON (Firebase Pub/Sub). Cron wywołuje przez HTTP Cloud function i dalej już z górki :)
DaxterPoker 2017-09-18 18:00:42 +1
Siemka,
Mam problem, otóż piszę program do analizy kodów źródłowych, i w String code mam kod źródłowy odczytaany z pliku.
Pierwszym zadaniem jest pozbycie się #include z początku String. Niestety nigdy nie wiem ile tych #include będzie.
Macie jakieś pomysły jak to zrobić ? Splitować jakoś ? aplikację piszę w javie i będzie obrabiała jedynie kody c++.
#cpp #java #parser
4 komentarzy
TheNewIcek 2017-09-18 18:20:26 +0
@DaxterPoker: dla ulatwienia podpowiem:

poprawne
`
#include "foo"
#include
# include
`
no i do tego mozna to wykomentowac :D tzn
`
// #included
/* #include */
`
no i #include wcale nie musi byc na poczatku, moze byc gdziekolwiek
rotflolmaomgeez 2017-09-18 20:26:05 +1
@DaxterPoker: są gotowe generatory parserów, w tym dla javy. Podajesz gramatykę i generuje ci parser, przykład: BNFC ( http://bnfc.digitalgrammars.com/ ). Pełnej gramatyki C++ nie znajdziesz, bo nie istnieje - ale jakieś podzbiory już tak :) i tak wyjdzie znacznie lepiej niż pisanie tego od podstaw.
pokaż komentarze (2)
DaxterPoker 2017-08-22 21:51:00 +3
Mam problem z ANTLRv4 otóż, potrzebuje posortować alfabetycznie nody w drzewie które zwraca mi ANTLR.

Klasa z implementacją ANTLR: https://pastebin.com/WqyPWg8c

Przykładowe drzewo które chciał bym posortować : http://imgur.com/a/tufRL

ANTLR'a mam już dość dlatego chciałem otrzymane drzewo przenieść na własną strukturę drzewa, gdzie będe mógł sobie implementować własne metody a w trakcie przenoszenia układać nody alfabetycznie. Mój zamysł : zczytywać pokolei dzieci drzewa ANTLR i zapisywać je w ArrayList, posortować listę i kolejno od góry dodawać dzieci do nowego drzewa.
Niestety nie wiem jak pobrać token dziecka, metody getChild(), getChild.toString() zwracają mi po kilka tokenów które nic mi nie mówią albo całe drzewo w formie Stringa ( które niestety za dużo mi nie daje i jest za duże żeby pobierać je przy każdym dziecku... ). Bardzo proszę o pomoc jak wyciągnąć poszczególne elementy z drzewa, bądź jak posortować takie drzewo, bo niestety nie wiem gdzie już się zwrócić z tym problemem ....

#java #antlr #algorytmy #parser #programowanie
0 komentarzy
jaskowice1 2017-05-24 21:48:00 +4
Mireczki mam pytanie, zrobiłem importer w PHP, który obsługiwał małe pliki XML, teraz przyszedł plik który ma 30 000 linii i niestety ten importer nie wyrabia (dużo akcji się dzieje na każdym rekordzie), a robiłem to tym sposobem https://www.w3schools.com/php/php_xml_simplexml_read.asp

Niestety teraz już wiem, że nie jest to najoptymalniejszy sposób do parsowania XML i muszę podzielić sobie te pliki na mniejsze i wtedy uruchamiać mój importer - moje pytanie brzmi: Jaką metodę polecacie do dzielenia plików na mniejsze? I w jaki sposób uruchamiać takie coś?

#webdev #php #xml #parser
7 komentarzy
wojtek656 2017-05-24 21:54:06 +1
@jaskowice1: buforowanie ( ͡° ͜ʖ ͡°)
xetrov 2017-05-24 22:27:23 +1
@jaskowice1: link wyżej masz odpowiedź: https://www.w3schools.com/php/php_xml_parsers.asp

Tree-based parsers holds the entire document in Memory and transforms the XML document into a Tree structure. It analyzes the whole document, and provides access to the Tree elements (DOM).
Example of tree-based parsers:

SimpleXML
DOM

Event-based parsers do not hold the entire document in Memory, instead, they read in one node at a time and allow you to interact with in real time. Once you move onto the next node, the old one is thrown away.

Example of event-based parsers:

XMLReader
XML Expat Parser
pokaż komentarze (5)
S.....a 2013-08-31 23:53:36 +3
Popularne tagi z blipa: - przygotujcie się na mega SHIT STORM.



#404 #blaber #blabler #blablerze #blip #blipiwogdansk #blipoznan #blipstypa #bry #ciacho #ciociafelwpodrozy #cnohehok #corobic #dokoncaswiata #drogiblipie #dziekizawczoraj #dziekujeciblipie #exitus #fobiagazowa #gg #gliwice #hide #icoteras #ideefixe #internet #itissonotcool #jabber #jakdobrzepamietam #jestplan #karate #kawa #koniecblipa #kreska #krokwia #latarniamorska #lufe #mamto #mcdonald #meskiegranie #miller #nakoniecblipa #nicniepowiem #niechcemalemuszem #niechorze #niestetyja #noniewiem #norwegia2013 #nowamala #nowylepszyblip #odglosyzabawy #off #ostatnistatus #parser #pastelowecudazdrutem #patslucha #pierwszeblipniecie #piosenkadnia #piosenkinakoniecblipa #plum #pokacycki #pokakota #polcon #poolcamp #poznan #prasa #prawo #proza #przprszm #psotka #pszprszm #rantnakoniecblipa #refleksja #retrofotorus #ritualpanda #rodzinapatologiczna #rozmowyzkerri #samaniewiem #samoblip #slask #slucham #spiseg #starosc #stowarzyszenie #szysza #szyszka #tagu #takamilajestem #tozadlugotrwa #toznak #tramwaje #trojka #ttdkn #tylewygrac #wawasapki #wstydliwewyznania #wtem #wyraz #wzrusz #zkokpitu #zlewizualizacje
1 komentarzy
animuss 2013-08-31 23:56:02 +0
czy mam przytoczyć wykopowe tagi z shit stormem? :>
sylwke3100 2013-08-30 14:55:01 +5
Dobra baza pobrana. Łącznie obiektów 373 (autobusy dzienne, nocne, bezpłatne, tramwaje) i zajmuje 61 MB



Czas pobierania to ok 2,5 godziny. Baza posiada 2 tabele z czego jedna ma 1258145 rekordów a druga 17498 rekordów.



Teraz tylko pozostaje pomyśleć co z tą bazą zrobić :D



#sylwkespamuje #parser #kzkgop #rozkladyjazdy
7 komentarzy
sylwke3100 2013-08-30 15:03:44 +4
@Gigi_: W tabeli Busy:

numer

kolejność

przystanek

kierunek

id_trasy_
_
w tabeli rozklad_
_
numer_
_
typ_rozkladu

id_przystnku_
_
kierunek_
_
id_trasy

godzina @baftek:
sylwke3100 2013-08-30 15:10:05 +4
@baftek: @Gigi_:
pokaż komentarze (5)
sylwke3100 2013-08-21 16:27:25 +4
Jak metodę parseData z tego kodu https://github.com/sylwke3100/cristallparser/blob/unstable-qt/CristallParser.cpp troszke zmiejszyć rozbijąjąc na coś mniejszego ? Ja nie mam pomysłu żeby to miało ręce i nogi



#programowanie #parser #cpp #cristallparser
9 komentarzy
echelon_ 2013-08-21 16:42:34 +1
@sylwke3100: Mówi ci coś zasada programowania SOLID? Nie? To doczytaj sobie ;)



http://en.wikipedia.org/wiki/SOLID_(object-oriented_design)
sylwke3100 2013-08-22 00:42:20 +2
@Rincewind: Nie, parser dziedziczy metody po klasie do Obsługi Gramatyki oraz po klasie do Obsługi Wyniku (CristallValues) oraz po detectTools (klasa zajmująca się sprawdzaniem wyrażeń )



Wiem że jest zepsute bo ja się wzorcami i całą tą projektową zabawą nie zajmowałem wcześniej gdyż ten parser miałbyć tylko z zamysłu do interpretera ale że zacząłem go bardziej rozwijać to niestety b----l się zrobił taki jaki widzisz. A chciałbym to z kimś sensownie ogarnąć żeby nie tylko ja go z d--y rozwijałem ale żeby włączyli się inni ludzie robić z tej kupy coś sensownego wartego używania
pokaż komentarze (7)
sylwke3100 2013-07-26 19:07:01 +10
Witajcie



Chciałbym szerszej publiczności zaprezentować mój parserek w formie biblioteczki(w którym trochę mi pomagał @KrzaQ2). Obecnie jego możliwości są skromne. Potrafi:



- Rozpoznawać tekst, liczby całkowite, liczby zmiennoprzecinkowe (do wyboru przecinek bądź kropka jako serparator), znaki alfanumeryczne oraz inne które sobie ustalimy

- Szukać w znalezionych danych konkretnych ciągów znaków

- Wykonywać zapytanie w zapytaniu



Parserek jest napisany w C++. Kod staram się by był w miarę przejrzysty (ale wiadomo jak to wygląda). Kod można znaleść tu :



https://github.com/sylwke3100/cristallparser

http://code.google.com/p/cristallparser/



Prosty przykład użycia :

http://pastebin.com/5EwqtMg1



Dokumentacji jeszcze nie zrobiłem tak swoją drogą

Jeśli ktoś by był zainteresowany nim oraz tworzeniem go to dawać znać



#cpp #programowanie #parser
17 komentarzy
zakowskijan72 2013-07-26 19:09:49 +4
Dokumentacji jeszcze nie zrobiłem tak swoją drogą

@sylwke3100: Widać, żeś młodym programistą jest. Bo nadzieję masz, że kiedyś zrobisz ją. Z wiekiem coraz trudniej będzie Ci uwierzyć w to...
zakowskijan72 2013-07-26 19:12:53 +3
@sylwke3100: Wyobraź sobie, że zatrudniasz programistę-testera, by z pomocą tej dokumentacji mógł napisać testy jednostkowe i funkcjonalne. I napisz ją w ten sposób...



pokaż komentarze (15)
O serwisie (+polityka prywatności, cookies)