Преглед садржаја
Гооглебот је робот који вам омогућава да пратите мрежу Гоогле, такође познат као Гоогле паук. На овај начин систем открива нове странице које су индексиране у његовој бази података где се ажурирају и поново се укључује у Гоогле индекс.Гоогле користи велику количину рачунарске опреме за пописивање милијарди страница које се дистрибуирају на Вебу. Заснива се на алгоритамском процесу праћења, где рачунарски програми одређују локације које ће се пратити, као и учесталост и број страница за претраживање на свакој веб локацији. Процес започиње листом претходно генерисаних веб страница, која се проширује на основу података добијених од мапа сајтова које вебмастери укључују. Гооглебот открива везе при свакој вашој посети тим веб локацијама, додајући их на листу страница које треба пописивати. Систем открива нове веб локације, измене на постојећим и везе које су застареле, а затим ажурира Гоогле индекс.
Како Гооглебот приступа веб локацији
Гооглебот обично не приступате веб локацијама више од једном и на неколико секунди. Генерално, систем преузима само једну копију сваке странице, у случају да исту страницу преузимате више пута, то је вероватно због заустављања и поновног покретања пописивача.Гооглебот је дистрибуиран на неколико рачунара, а неки од паука раде са рачунара који се налазе у близини веб локација које индексирају. Могуће је да евиденције страница приказују посете са више рачунара као кориснички агент.
Циљ је пописивање највећег броја страница на веб локацији при свакој посети без смањења пропусности сервера.
Систем проналази веб локације путем веза на њиховим страницама. У случају грешака праћења, оне се могу видети у Алаткама за вебмастере које обезбеђује Гоогле. Он наводи проблеме на које се наилази приликом индексирања веб локације. Било би добро редовно проверавати све грешке при пописивању које могу настати како бисте их идентификовали и поправили.
Пошто се ИП адресе којима Гооглебот рукује с времена на време мењају, идеално је користити робота „кориснички агент“ (Гооглебот). Гоогле паук ће поштовати смернице које се налазе у датотеци роботс.ткт, међутим злонамерни корисници их се можда неће придржавати.
