Анализ сайта robotstxt.ru
Обновлено: 2024-08-10 18:13:29.014988
Основная информация
Заголовок (title): Robots.txt как создать и правильно настроить: полная инструкция
Описание (description): Как создать файл Robots.txt, зачем он нужен для SEO, где располагается и как редактировать. Также вы узнаете про директивы, которые используются в файле и их правила.
H1: Как создать и правильно настроить Robots.txt
Технические детали
Время загрузки: 3.80 секунд
Сервер: nginx/1.20.2
IP адрес: 5.188.30.213
Серверы имен: ['dns3.fastdns24.eu.', 'dns4.fastdns24.link.', 'dns.fastdns24.com.', 'dns2.fastdns24.org.']
Ключевые слова
{'robots': 65, 'disallow': 50, 'txt': 49, 'ответить': 44, 'для': 43, 'файл': 28, 'сайта': 27, 'user': 24, 'agent': 24, 'как': 22}
DNS записи
robotstxt.ru. IN A 5.188.30.213
Связывает доменное имя с IPv4-адресом
robotstxt.ru. IN AAAA 2a01:5a60:7::95
Связывает доменное имя с IPv6-адресом
robotstxt.ru. IN MX 10 mail.robotstxt.ru.
Указывает почтовый сервер для домена
robotstxt.ru. IN TXT "google-site-verification=Gz7Mup5Jt2d7CgbRL8dVdR_onfWaJBru4Tc7ZbCOmUc"
Хранит текстовую информацию, часто используется для верификации
robotstxt.ru. IN TXT "v=spf1 ip4:5.188.30.213 ip6:2a01:5a60:7::95 a mx ~all"
Хранит текстовую информацию, часто используется для верификации
robotstxt.ru. IN NS dns2.fastdns24.org.
Указывает авторитативные серверы имен для домена
robotstxt.ru. IN NS dns3.fastdns24.eu.
Указывает авторитативные серверы имен для домена
robotstxt.ru. IN NS dns4.fastdns24.link.
Указывает авторитативные серверы имен для домена
robotstxt.ru. IN NS dns.fastdns24.com.
Указывает авторитативные серверы имен для домена
robotstxt.ru. IN SOA dns.fastdns24.com. support.fastvps.ru. 2023112801 10800 3600 604800 3600
Содержит административную информацию о зоне DNS
WHOIS информация
Информация WHOIS недоступна