robots.txt и dle

Ответить
po4ti_newfag
Новый участник
Сообщения: 2
Зарегистрирован: 29 май 2017, 16:06

Добрый день, форумчане. В файле robots.txt закрывать папки backup, uploads, language и другие системные файлы? Все говорят закрывайте, но у всех норм сайтов на dle они не закрыты.
Аватара пользователя
zeleniyslonik
Trust member
Сообщения: 576
Зарегистрирован: 22 май 2013, 14:11

Закрывай все папки. Код такой
User-agent: *
Disallow: /
Аватара пользователя
Sopet
Trust member
Сообщения: 270
Зарегистрирован: 02 июн 2015, 07:31

po4ti_newfag, говорят, нельзя человеку давать простых ответов, а то потом скажет "из-за тебя я не в топе" или вообще на шею сядет.
Итак, задача: зайти в эти "папки", посмотреть, какой там есть общий для них файл, и изучить, что он делает.
Аватара пользователя
Elfoz
Trust member
Сообщения: 2794
Зарегистрирован: 11 апр 2012, 13:46

po4ti_newfag писал(а):В файле robots.txt закрывать папки backup, uploads, language
Да без разницы. У меня так:
User-agent: *
Host: site.com
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /*print:page
Disallow: /user/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /xfsearch/
Disallow: /catalog/
Disallow: /tags/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Sitemap: http://site.com/sitemap.xml

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /
Ответить