robots.txt в Joomla: как настроить правильно

robots.txt управляет индексацией сайта. Правильная настройка помогает поисковикам и защищает служебные разделы. Мы настроили robots.txt на более чем 100 сайтах на Joomla и знаем: ошибки в этом файле — самая частая причина, почему сайт не в индексе. Разберём, как настроить его правильно.

Что такое robots.txt

Файл в корне сайта:

• Инструкции для роботов — что индексировать, что нет.
• Что индексировать — User-agent и Allow.
• Что закрыть — Disallow для служебных разделов.
• Где карта сайта — директива Sitemap.
• Доступен по адресу — site.ru/robots.txt.
• Простой текстовый формат — легко редактировать.

robots.txt — правила для поисковиков. Без него роботы сами решают, что делать, и могут индексировать служебное.

Что закрыть от индексации

Служебные разделы:

• Папку administrator — админка Joomla.
• Папку cache — кеш системы.
• Папку tmp — временные файлы.
• Папку logs — логи.
• Страницы поиска — /search и /component/search.
• Служебные компоненты — com_ajax, com_media.
• Файл configuration.php — настройки Joomla.
• Папку includes — системные файлы.

Служебные страницы не должны индексироваться. Они пустые для поисковика, но занимают ресурс обхода.

Что разрешить

Открыть для индексации:

• Главную страницу — /.
• Категории — все разделы.
• Материалы — статьи, услуги.
• Товары — каталог магазина.
• Важные страницы — контакты, о компании.
• Блог — статьи блога.
• Изображения — media, images.
• CSS и JS — Google должен их видеть.

Основной контент должен быть доступен. Не блокируйте CSS и JS — это ломает рендеринг.

Что указать в robots.txt

Основное:

• User-agent — для кого правило (* — для всех).
• Disallow — что закрыть.
• Allow — что открыть в закрытом разделе.
• Sitemap — URL карты сайта.
• Host — основной домен (устарело, но всё ещё полезно для Яндекса).
• Crawl-delay — задержка между запросами (опционально).
• Clean-param — для Яндекса, чтобы игнорировать параметры.

Файл короткий — 20–50 строк. Но каждая строка важна.

Указание карты сайта

В robots.txt:

• Строка Sitemap — Sitemap: https://site.ru/sitemap.xml.
• URL карты — полный, абсолютный.
• Для Google и Яндекс — работает для всех.
• Облегчает индексацию — робот узнаёт о карте сразу.
• Можно несколько — если карта разбита на части.
• Указывайте в начале файла — удобно для роботов.

Карта в robots.txt ускоряет её нахождение. Робот, прочитав robots.txt, сразу знает, где карта.

Создание robots.txt

Файл создаётся:

• Вручную — в текстовом редакторе.
• Через расширения — SEO-компоненты.
• В корне сайта — там же, где index.php.
• В текстовом формате — без разметки.
• Через FTP или файловый менеджер — загрузка на сервер.
• Проверьте кодировку — UTF-8, без BOM.

Файл доступен по адресу site.ru/robots.txt. Откройте в браузере — должен показаться.

Проверка robots.txt

Проверьте:

• Доступность файла — открывается в браузере.
• Корректность синтаксиса — нет опечаток.
• Правильность запретов — не закрыто ли нужное.
• Указание карты — есть директива Sitemap.
• Проверка через Search Console — «Анализ robots.txt».
• Проверка через Вебмастер — «Анализ robots.txt».
• Проверка на закрытые страницы — тест конкретных URL.

Проверка через Search Console. Там можно проверить конкретный URL — закрыт ли он.

Частые ошибки

Чего избегать:

• Запрет всего сайта — Disallow: / без исключений.
• Ошибки синтаксиса — пропущенная буква, пробел.
• Неправильные пути — /admin/ вместо /administrator/.
• Отсутствие карты — робот не знает о Sitemap.
• Блокировка CSS и JS — Google не может рендерить.
• Устаревшие директивы — ChangeFreq, Priority устарели.
• Запрет на изображения — не попадут в Google Images.

Ошибки блокируют индексацию. Одна лишняя строка может закрыть весь сайт от поиска.

Результат

Правильный robots.txt:

• Управляет индексацией — что нужно, то и в индексе.
• Закрывает служебное — админка, кеш, логи.
• Открывает важное — контент для пользователя.
• Ускоряет индексацию — через указание карты.
• Защищает от утечек — закрытые URL не попадают в поиск.
• Экономит ресурсы обхода — робот не тратит время на служебное.

robots.txt — инструмент контроля. Настройте один раз — работает годами.

«robots.txt — это правила, по которым поисковики гуляют по сайту. Хорошие правила — сайт в индексе. Плохие — сайт невидим».

Когда нужен специалист

Обратитесь за помощью, если:

• Сайт не в индексе — возможно, закрыт robots.txt.
• Много URL — нужны сложные правила.
• Нужны Clean-param — для Яндекса.
• Нет опыта — легко ошибиться.
• Нужна проверка — закрыто ли что-то лишнее.

Специалист настроит robots.txt правильно. Это услуга SEF и карта сайта. Для аудита — Технический SEO-аудит.

Коротко: что запомнить

• robots.txt управляет индексацией сайта.
• Закройте: /administrator/, /cache/, /tmp/, /logs/.
• Откройте: контент, изображения, CSS, JS.
• Укажите Sitemap — ускоряет индексацию.
• Проверка через Search Console и Вебмастер.
• Типичные ошибки: запрет всего, синтаксис, блокировка CSS/JS.
• Результат: контроль индексации, ускорение обхода.

Если нужна настройка robots.txt — обратитесь к нам. Сделаем правильно.