Какую информацию о веб-странице собирает поисковый робот?

- 08 January 2021
- Автор: subhan2
Какую информацию о веб-странице собирает поисковый робот?
- 08 January 2021
- Ответ оставил: Arrow123
Поисковый робот – это программа, которая в автоматическом режиме осуществляет переходы по сайтам через ссылки на них и индексирует содержимое страниц.

Порядок просмотра страниц и регулярность последующих визитов определяется алгоритмами поисковой машины. Используя файл robots.txt, в котором содержатся инструкции для поисковых роботов, владелец сайта может запретить индексирование, как всего сайта, так и некоторых его страниц.

Существуют следующие типы поисковых роботов:

национальный поисковый робот: собирает информацию с одного домена (например, .ru), используется в локальных системах поиска;
глобальные поисковые роботы: собирают информацию с различных национальных сайтов, используются в глобальных системах поиска;
индексатор картинок: ведет работу по индексации графики;
индексатор медиа-файлов: ведет работу по индексации файлов формата аудио и видео;
робот-зеркальщик: занимается определением зеркал сайтов;
ссылочный робот: подсчитывает количество ссылок на сайте, ТИЦ и др.;
робот-оформитель: оформляет результаты, выдаваемые поисковой системой;
проверяющий робот: проверяет присутствие ресурса в базе данных и число индексированных документов;
робот-стукач (иначе называется дятел): проверяет доступность сайта или документа, на который имеется ссылка;
робот-шпион: занимается поиском ссылок на сайты, которые не находятся в базе данных системы;
робот-смотритель: перепроверяет полученные результаты;
робот-исследователь: занимается отладкой поискового алгоритма или исследованием конкретных сайтов;
оперативный робот: определяет время последнего обновления сайтов.

0

- НЕ НАШЛИ ОТВЕТ?
Если вас не устраивает ответ или его нет, то попробуйте воспользоваться поиском на сайте и найти похожие ответы по предмету школьной программы: информатика.
На сегодняшний день (19.09.2025) наш сайт содержит 109575 вопросов, по теме: информатика. Возможно среди них вы найдете подходящий ответ на свой вопрос.

Найти другие ответы
Нажимая на кнопку "Ответить на вопрос", я даю согласие на обработку персональных данных

Ответить на вопрос

Последние опубликованные вопросы

Объем видеопамяти для хранения страниц изображения при условии, что разрешающая способность двух с дисплея плана 640*350 пикселей, а количество используемых цветов-16? Комитет можно составить из 3 или 5 судей. Есть 5 кандидатов, точность предсказаний которых приведена в таблице. Составьте ансамбль судей, имеющий наибольшую из возможных точность предсказания. В ан... 16. Шифр кодового замка является двузначным числом. Буратино забыл код, но помнит, что сумма цифр этого числа, сложенная с их произведением, равна самому числу. Напишите все возможные варианты кода... S<13 и не s чётное Получено сообщение, информационный объем которого равен 32 битам. Чему равен этот объем в байтах Каждый переданный кодовый символ может принят ошибочно с фиксированным вероятностью P Решать задачку по этой формуле P(zj/Uk) = P/N-1 при j≠k I-p при j=k В дощечку в ряд вбито 10 гвоздиков, таким образом, получилось 9 последовательных промежутков между ними. Длины промежутков (подряд, слева направо) оказались равны 7, 2, 8, 4, 3, 9, 5, 1, 6. Между н... Кто может подсказать почему не работает секундомер? (не добирает 60 секунд следовательно не переходит на следующую минуту) язык Python import time from tkinter import * from datetime import datetim... Pyhon (Информатика) Решить задачу: На тренировках спортсмен ежедневно пробегает некоторую дистанцию, с каждым днем увеличивая ее на 10%. Составить программу, определяющую по расстоянию, преодоленн... совокупность средств и правил взаимодействия человека с компьютером Что такое информатика в ИБ кратко 1) 1561 +7361 в 8-ичной системе счисления2) 1101011 + 11011 в 2-ичной системе счисления3) 101001 * 101 в 2-ичной системе счисления4) 95FA * D23 в 16-ичной системе счисления5) 1654 * 453 в 8-ичной с...