Kazalo:
Opredelitev - Kaj pomeni Spider?
V kontekstu interneta je pajek specializirana programska oprema, namenjena sistematičnemu iskanju in brskanju po svetovnem spletu, ponavadi z namenom indeksiranja spletnih strani, da bi jih zagotovili kot rezultate iskanja za iskalne poizvedbe uporabnikov. Najbolj znan izmed takih pajkov je Googlebot, glavna Googlova pajka, ki pomaga zagotoviti, da se ustrezni rezultati vrnejo za iskalne poizvedbe.
Pajki so znani tudi kot spletni pajki, iskalni roboti ali preprosto boti.
Techopedia razlaga Spider
Pajek je v bistvu program, ki se uporablja za pridobivanje informacij s svetovnega spleta. Brska po straneh spletnih mest, ki pridobivajo informacije in jih indeksirajo za poznejšo uporabo, običajno za rezultate iskalnikov. Pajek obišče spletna mesta in njihove strani prek različnih povezav do in s strani, zato bo stran brez ene same povezave težko indeksirati in je na strani z rezultati iskanja morda uvrščena res nizko. In če obstaja veliko povezav, ki kažejo na stran, bi to pomenilo, da je stran priljubljena in bo na rezultatih iskanja videti višje.
Koraki pri pajenju po spletu:
- Pajek najde spletno mesto in začne plaziti po svojih straneh.
- Pajek indeksira besede in vsebino spletnega mesta.
- Pajek obišče povezave, najdene na spletnem mestu.
Pajki ali webcrawlers so le programi in kot takšni upoštevajo sistematična pravila, ki jih postavijo programerji. Lastniki spletnih mest se lahko vključijo v to, tako da pajku povedo, katere dele spletnega mesta indeksira in katere ne. To naredijo tako, da ustvarijo datoteko "robots.txt", ki vsebuje navodila za pajka o tem, katere dele je treba indeksirati in povezave slediti ter katere bi moral prezreti. Najpomembnejši pajki so tisti, ki so v lasti večjih iskalnikov, kot so Google, Bing in Yahoo, in tisti, ki so namenjeni rudarjenju podatkov in raziskavam, obstaja pa tudi nekaj zlonamernih pajkov, ki so napisani za iskanje in zbiranje e-poštnih sporočil, ki jih uporabnik prodaja podjetjem ali najti ranljivosti v spletni varnosti.
