Html сайты үчүн туура Robots txt файлы издөө боттору үчүн аракет макеттерин түзүп, аларга эмнени текшере аларын айтып берет. Бул файл көбүнчө роботту четтетүү протоколу деп аталат. Вебсайтты сойлоордон мурун боттор издеген биринчи нерсе - robots.txt. Ал көрсөтүп же кээ бир субдомендерди текшерүү үчүн эмес, Сайттын картасын айта алат. Издөө системалары эң көп табылган нерсени издөөнү кааласаңыз, robots.txt талап кылынбайт. Бул процессте файлдын туура форматталышы жана колдонуучунун жеке маалыматтары менен колдонуучунун барагын индекстебеши абдан маанилүү.
Роботту сканерлөө принциби
Издөө системасы файлга жолугуп, тыюу салынган URL'ди көргөндө, аны сүзбөйт, бирок аны индекстей алат. Себеби, роботторго мазмунду көрүүгө уруксат берилбесе да, алар тыюу салынган URL дарегин көрсөткөн шилтемелерди эстей алышат. Шилтемеге кирүү бөгөттөлгөндүктөн, URL издөө системаларында пайда болот, бирок фрагменттери жок. Эгеркелген маркетинг стратегиясы үчүн bitrix (Bitrix) үчүн туура Robots txt талап кылынат, алар колдонуучунун талабы боюнча сканерлер аркылуу сайтты текшерүүнү камсыз кылат.
Ал эми файл туура форматталбаса, бул сайт издөө натыйжаларында көрүнбөй калышына жана табылбай калышына алып келиши мүмкүн. Издөө системалары бул файлды айланып өтө албайт. Программист каалаган сайттын robots.txt файлын анын доменине өтүп, аны robots.txt менен ээрчип көрө алат, мисалы, www.domain.com/robots.txt. Unamo'нун SEO оптималдаштыруу бөлүмү сыяктуу куралды колдонуп, каалаган доменге кирсеңиз болот жана кызмат файлдын бар экендиги жөнүндө маалыматты көрсөтөт.
Скандоо үчүн чектөөлөр:
- Колдонуучунун эскирген же купуя мазмуну бар.
- Сайттагы сүрөттөр сүрөт издөө натыйжаларына киргизилбейт.
- Сайт робот тарабынан демонстрацияланууга даяр эмес.
Колдонуучу издөө системасынан алууну каалаган маалымат URL дарегин киргизген ар бир адам үчүн жеткиликтүү экенин эстен чыгарбаңыз. Бул текст файлын купуя маалыматтарды жашыруу үчүн колдонбоңуз. Доменде 404 (табылган жок) же 410 (өттү) катасы бар болсо, издөө системасы robots.txt бар экенине карабай сайтты текшерет, бул учурда файл жок деп эсептейт. Башка каталар, мисалы, 500 (Ички сервер катасы), 403 (Тыюу салынган), убакыт өтүп кеткен же "жеткиликтүү эмес" robots.txt нускамаларын урматтайт, бирок файл жеткиликтүү болмоюнча айланып өтүү кечиктирилиши мүмкүн.
Издөө файлын түзүү
КөптөгөнWordPress сыяктуу CMS программаларында мурунтан эле robots.txt файлы бар. Robots txt WordPressти туура конфигурациялоодон мурун, колдонуучу ага кантип кирүүнү билүү үчүн анын мүмкүнчүлүктөрү менен таанышышы керек. Эгерде программист файлды өзү түзсө, ал төмөнкү шарттарга жооп бериши керек:
- Кичине тамгалар менен жазылышы керек.
- UTF-8 коддоосун колдонуңуз.
- Тексттик редактордо файл (.txt) катары сактаңыз.
Колдонуучу аны кайда жайгаштырарын билбесе, домендин тамырына кантип кирүүнү билүү үчүн же Google консолуна барып, аны жүктөп алуу үчүн веб-сервер программалык камсыздоочу менен байланышат. Бул функция менен Google ошондой эле боттун туура иштеп жатканын жана файл аркылуу бөгөттөлгөн сайттардын тизмесин текшере алат.
Битрикс (Bitrix) үчүн туура Robots txt негизги форматы:
- Legend robots.txt.
- , эскертүү катары гана колдонулган жорумдарды кошот.
- Бул жорумдар сканерлер тарабынан этибарга алынбайт жана колдонуучунун каталары менен бирге.
- User-агент - файлдын нускамалары кайсы издөө системасында тизмеленгенин көрсөтөт.
- Жылдызчаны () кошуу сканерлерге нускамалар бардыгы үчүн экенин билдирет.
Кайсы бир ботту көрсөтүү, мисалы, Googlebot, Baiduspider, Applebot. Тыюу салуу веб-сайттын кайсы бөлүктөрүн сүзүп өтпөө керектигин айтат. Бул төмөнкүдөй көрүнөт: Колдонуучу-агент:. Жылдызча "бардык боттор" дегенди билдирет. Бирок, сиз конкреттүү барактарды белгилей аласызботтор. Бул үчүн сиз сунуштар коюлган боттун атын билишиңиз керек.
Яндекс үчүн туура роботтор txt төмөнкүдөй болушу мүмкүн:
Эгер бот сайтты сүзбөсө, аны көрсөтсөңүз болот жана колдонуучу агенттеринин атын табуу үчүн useragentstring.com сайтынын онлайн мүмкүнчүлүктөрү менен таанышып чыгуу сунушталат.
Бет оптималдаштыруу
Төмөнкү эки сап толук robots.txt файлы болуп эсептелет жана бир робот файлы сойлоп чыгууну өчүргөн же иштеткен колдонуучу агенттеринин жана директиваларынын бир нече саптарын камтышы мүмкүн. Туура Robots txt негизги форматы:
- Колдонуучу агент: [агенттин аты].
- Болбоо: [Сөрмөлгөн эмес URL сап].
Файлда директивалардын ар бир блогу сызык менен бөлүнгөн дискреттик катары көрсөтүлөт. Агенттин колдонуучу каталогунун жанындагы файлда ар бир эреже бөлүмдөн бөлүнгөн саптардын белгилүү бир топтомуна колдонулат. Эгер файлда көп агенттик эреже болсо, робот нускамалардын эң белгилүү тобун гана карайт.
Техникалык синтаксис
Бул robots.txt файлдарынын "тили" катары каралышы мүмкүн. Бул форматта беш термин болушу мүмкүн, алардын негизгилери:
- Колдонуучу-агент - Скандоо инструкциялары бар желе жөрмөлөгүч, адатта издөө системасы.
- Болбоо – бул колдонуучу агентине айланып өтүүнү айтуу үчүн колдонулган буйрукбелгилүү бир URL'ди (салдырып коюу). Ар бири үчүн бир гана тыюу салынган шарт бар.
- Уруксат берүү. Кирүү мүмкүнчүлүгүн алган Googlebot үчүн колдонуучунун баракчасы да четке кагылган.
- Сөрмөлөө кечигүү - жөрмөлөгүчкө сойлогонго чейин канча секунд керек болорун көрсөтөт. Бот аны ырастабаса, ылдамдык Google консолунда коюлат.
- Сайттын картасы - URL менен байланышкан бардык XML карталарын табуу үчүн колдонулат.
Үлгү дал келүү
Чындыгында URL'дерди бөгөттөө же жарактуу Robots txt'ке уруксат берүү жөнүндө сөз болгондо, операциялар бир топ татаал болушу мүмкүн, анткени алар бир катар мүмкүн болгон URL параметрлерин жабуу үчүн үлгү дал келүүнү колдонууга мүмкүндүк берет. Google жана Bing экөө тең SEO чыгарып салгысы келген барактарды же папкаларды аныктоочу эки символду колдонушат. Эки белги жылдызча () жана доллар белгиси ($) болуп саналат, мында:белгилердин каалаган ырааттуулугун билдирген коймо белги. $ - URL'дин аягына дал келет.
Google колдонуучуга Robots txt файлын кантип туура орнотууну түшүндүргөн мүмкүн болгон шаблон синтаксистеринин чоң тизмесин сунуштайт. Кээ бир жалпы колдонуу учурлары төмөнкүлөрдү камтыйт:
- Кайталанган мазмундун издөө натыйжаларында пайда болушуна жол бербөө.
- Веб-сайттын бардык бөлүмдөрү купуя болсун.
- Ачык билдирүүнүн негизинде издөө натыйжаларынын ички барактарын сактаңыз.
- Жайгашкан жерди көрсөт.
- Издөө системаларынын белгилүү бир индекстөөсүнө жол бербөөфайлдар.
- Бир эле учурда бир нече мазмун аймагын скандоодо кайра жүктөөнү токтотуу үчүн скандалуунун кечигүүсү көрсөтүлүүдө.
Робот файлынын бар-жогу текшерилүүдө
Эгер сайтта сойлоп чыгуу керек болгон аймактар жок болсо, анда robots.txt таптакыр кереги жок. Эгер колдонуучу бул файлдын бар экенине ишенбесе, анда ал түпкү доменди киргизип, аны URL'дин аягына териши керек, мисалы: moz.com/robots.txt. Бир катар издөө боттору бул файлдарды этибарга албайт. Бирок, эреже катары, бул жөрмөлөгүчтөр абройлуу издөө системаларына кирбейт. Алар Интернетте көп кездешкен спам жасоочулардын, почта агрегаторлорунун жана автоматташтырылган боттордун башка түрлөрү.
Роботту четтетүү стандартын колдонуу натыйжалуу коопсуздук чарасы эмес экенин эстен чыгарбоо абдан маанилүү. Чынында, кээ бир боттор колдонуучу аларды сканерлөө режимине койгон баракчалардан башталышы мүмкүн. Стандарттык өзгөчө файлга кирген бир нече бөлүктөрү бар. Роботко кайсы беттерде иштебеши керектигин айтуудан мурун, кайсы робот менен сүйлөшүү керектигин такташыңыз керек. Көпчүлүк учурларда колдонуучу "бардык боттор" дегенди билдирген жөнөкөй декларацияны колдонот.
SEO оптималдаштыруу
Оптималдаштыруудан мурун колдонуучу сайттын эч кандай мазмунду же бөлүктөрүн айланып өтүүгө тыюу салбагандыгын текшериши керек. Туура Robots txt менен бөгөттөлгөн барактарга шилтемелер урматталбайт. Бул:
- Эгер алар издөө системалары үчүн жеткиликтүү башка барактарга байланыштырылбаса, б.а. барактар,robots.txt же мета робот тарабынан бөгөттөлбөйт жана тиешелүү ресурстар сыдырылбайт, андыктан индекстөө мүмкүн эмес.
- Бөгөттөлгөн барактан шилтемени көздөгөн жерге эч кандай шилтемени өткөрүү мүмкүн эмес. Эгер андай барак бар болсо, robots.txt'ге караганда башка бөгөттөө механизмин колдонгон жакшы.
Башка барактар жеке маалыматты камтыган баракка түздөн-түз шилтеме бериши мүмкүн жана бул баракты издөө натыйжаларынан бөгөттөгүңүз келгендиктен, сырсөз менен коргоо же noindex мета дайындары сыяктуу башка ыкманы колдонуңуз. Кээ бир издөө системаларында бир нече колдонуучу агенттери бар. Мисалы, Google органикалык издөө үчүн Googlebotту, ал эми сүрөттөрдү издөө үчүн Googlebot-Image колдонот.
Бир эле издөө системасынын көпчүлүк колдонуучу агенттери бирдей эрежелерди карманышат, андыктан бир нече жөрмөлөгүчтөрдүн ар бири үчүн директиваларды көрсөтүүнүн кереги жок, бирок муну кыла алуу сайттын мазмунун сыдырууну жакшылап тууралай алат. Издөө системасы файлдын мазмунун кэштейт жана адатта кэштелген мазмунду күнүнө жок дегенде бир жолу жаңыртып турат. Эгер колдонуучу файлды өзгөртүп, аны адаттагыдан тезирээк жаңырткысы келсе, алар robots.txt URL дарегин Google'га тапшыра алышат.
Издөө машиналары
Robots txt кантип туура иштээрин түшүнүү үчүн издөө системаларынын мүмкүнчүлүктөрүн билишиңиз керек. Кыскасы, алардын жөндөмдүүлүгү, алар "сканерлерди" жибергенинде, бул программалармаалымат алуу үчүн Интернетти карап чыгуу. Алар бул маалыматты кийинчерээк колдонуучуга өткөрүп берүү үчүн сакташат.
Көп адамдар үчүн Google мурунтан эле Интернет. Чынында, алар туура, анткени бул, балким, анын эң маанилүү ойлоп табуусу. Ал эми издөө системалары түзүлгөндөн бери бир топ өзгөрсө да, негизги принциптер дагы эле ошол эле. Crawlers, ошондой эле "боттор" же "жөргөмүштөр" деп аталат, миллиарддаган веб-сайттардан барактарды табат. Издөө системалары аларга кайда баруу керектиги боюнча багыттарды берет, ошол эле учурда айрым сайттар боттор менен байланышып, аларга кайсы конкреттүү баракчаларды карашы керектигин айта алышат.
Негизинен сайт ээлери издөө системаларында көрүнгүсү келбейт: администратор барактары, сервердик порталдар, категориялар жана тэгдер жана башка маалымат барактар. robots.txt файлы издөө системаларынын баракчаларды текшерүүсүнө жол бербөө үчүн да колдонулушу мүмкүн. Кыскача айтканда, robots.txt веб жөрмөлөгүчтөрүнө эмне кылуу керектигин айтат.
Барактарды тыюу
Бул роботту чыгарып салуу файлынын негизги бөлүгү. Жөнөкөй декларация менен колдонуучу ботко же боттордун тобуна белгилүү бир баракчаларды сүзбөшүн айтат. Синтаксиси жөнөкөй, мисалы, сайттын "admin" каталогундагы бардык нерсеге кирүүдөн баш тартуу үчүн, мындай деп жазыңыз: Disallow: /admin. Бул сап ботторду yoursite.com/admin, yoursite.com/admin/login, yoursite.com/admin/files/secret.html жана администратор каталогунун астындагы башка нерселердин сүзүшүнө жол бербейт.
Бир бетке тыюу салуу үчүн, аны жөн гана тыюу салуу сабында көрсөтүңүз: Тыюу салуу: /public/exception.html. Эми "өзгөчө" беткөчүрүлбөйт, бирок "жалпыга ачык" папкадагы бардык нерселер көчүрүлөт.
Бир нече барактарды кошуу үчүн жөн гана тизмелеңиз:
Симфония үчүн туура Robots txt төрт саптары https://www.symphonyspace.org/ үчүнrobots.txt бөлүмүнүн жогору жагында тизмеленген каалаган колдонуучу агентине колдонулат.
Сайттын картасы:
Башка буйруктар:жандуу - веб жөрмөлөгүчтөр cpresources/ же провайдерди/ индексациялоого уруксат бербеңиз.
Колдонуучу агенти:Тыюу салуу: /cpresources/.
Чоктоо: / сатуучу / Бербөө: /.env.
Стандарттарды коюу
Колдонуучу мурунку эки элементти бириктирип, ар кандай боттор үчүн конкреттүү барактарды көрсөтө алат, ал ушундай көрүнөт. Бардык издөө системалары үчүн туура Robots txt үлгүсү төмөндө келтирилген.
"Админ" жана "купуя" бөлүмдөрү Google менен Bingге көрүнбөйт, бирок Google "жашыруун" каталогду көрө берет, ал эми Bing көрбөйт. Сиз жылдызча колдонуучу агентин колдонуп бардык боттор үчүн жалпы эрежелерди белгилеп, андан кийин кийинки бөлүмдөрдө ботторго конкреттүү көрсөтмөлөрдү бере аласыз. Жогорудагы билим менен колдонуучу бардык издөө системалары үчүн туура Robots txt үлгүсүн жаза алат. Жөн гана сүйүктүү текст редакторуңузду иштетип, ботторго сайттын айрым бөлүктөрүндө аларды кабыл албай турганын айтыңыз.
Сервердин иштешин жакшыртуу боюнча кеңештер
SublimeText булар тараптуу текст редактору жана көптөгөн программисттер үчүн алтын стандарт. Анын программалоо боюнча кеңештери эффективдүү коддоого негизделген. колдонуучулар программада жарлыктардын бар экенин баалайт. Колдонуучу robots.txt файлынын мисалын көргүсү келсе, каалаган сайтка кирип, аягына "/robots.txt" кошушу керек. Бул жерде GiantBicycles robots.txt файлынын бир бөлүгү.
Программа колдонуучулар издөө системаларында көргүсү келбеген баракчаларды түзүүнү камсыз кылат. Ошондой эле бир нече адам билген бир нече эксклюзивдүү нерселер бар. Мисалы, robots.txt файлы ботторго кайда барбоо керектигин айтып жатканда, сайттын картасынын файлы тескерисинче кылат жана алар издеп жаткан нерсени табууга жардам берет, ал эми издөө системалары сайттын картасы кайда жайгашканын мурунтан эле билиши мүмкүн, бирок ал алынбайт. жолдо.
Файлдардын эки түрү бар: HTML барагы же XML файлы. HTML баракчасы - бул конокторго веб-сайттагы бардык жеткиликтүү барактар. Өзүнүн robots.txt файлында ал төмөнкүдөй көрүнөт: Sitemap://www.makeuseof.com/sitemap_index.xml. Эгер сайт издөө системалары тарабынан индекстелбесе, ал веб-роботтор тарабынан бир нече жолу сүзүлгөн болсо да, сиз файлдын бар экенин жана анын уруксаттары туура коюлганын текшеришиңиз керек.
Демейки боюнча, бул бардык SeoToaster орнотууларында болот, бирок керек болсо, сиз аны төмөнкүдөй баштапкы абалга келтирсеңиз болот: File robots.txt - 644. PHP серверине жараша, бул колдонуучу үчүн иштебесе, анда ал төмөнкүнү аракет кылуу сунушталат: File robots.txt - 666.
Скандоо кечиктирүүсү коюлууда
Айланып өтүүнүн кечигүү директивасы белгилүү маалымат беретиздөө системалары сайттагы баракты канча жолу индекстесе болот. Кээ бир издөө системалары аны бир аз башкача чечмелесе да, ал секундалар менен ченелет. Кээ бир адамдар кийинки скандоону баштоо үчүн ар бир скандоодон кийин беш секунд күтүү керектиги айтылганда, 5 кечигүүнү көрүшөт.
Башкалары муну ар бир беш секундада бир гана баракты сканерлөө көрсөтмөсү катары чечмелешет. Сервер өткөрүү жөндөмдүүлүгүн сактоо үчүн робот ылдамыраак сканерлей албайт. Сервер трафикке дал келиши керек болсо, ал айланып өтүүнүн кечиктирилишин орното алат. Жалпысынан алганда, көпчүлүк учурларда, колдонуучулар бул жөнүндө тынчсыздануунун кереги жок. Сегиз секунддук сүзүү кечигүү ушинтип орнотулган - Crawl-кечигитүү: 8.
Бирок бардык издөө системалары бул директивага баш ийе бербейт, андыктан барактарга тыюу салганда, сиз белгилүү бир издөө системалары үчүн ар кандай издөө кечиктирүүлөрүн орното аласыз. Файлдагы бардык нускамалар орнотулгандан кийин, сиз аны сайтка жүктөй аласыз, адегенде анын жөнөкөй тексттик файл экенине жана robots.txt аталышына ээ экенине жана аны yoursite.com/robots.txt дарегинен тапса болот.
Мыкты WordPress боту
WordPress сайтында ар бир жолу кулпуланышы керек болгон кээ бир файлдар жана каталогдор бар. Колдонуучулар тыюу салышы керек болгон каталогдор - cgi-bin каталогу жана стандарттык WP каталогдору. Кээ бир серверлер cgi-bin каталогуна кирүүгө уруксат бербейт, бирок колдонуучулар Robots txt WordPress'ти туура конфигурациялоодон мурун аны тыюу салуу директивасына камтышы керек
Стандарттык WordPress каталогдору,бөгөттөө керек болгон wp-admin, wp-content, wp-камтыйт. Бул каталогдордо адегенде издөө системалары үчүн пайдалуу болгон маалыматтар камтылбайт, бирок өзгөчө жагдай бар, б.а. wp-content каталогунда жүктөөлөр деп аталган подкаталог бар. Бул подкаталог робот.txt файлында уруксат берилиши керек, анткени ал WP медиа жүктөө функциясы аркылуу жүктөлгөн нерселердин баарын камтыйт. WordPress мазмунду түзүүдө тегдерди же категорияларды колдонот.
Эгер категориялар колдонулса, анда программанын өндүрүүчүсү белгилегендей Wordpress үчүн туура Robots txt түзүү үчүн, теги архивдерди издөөдөн бөгөттөө керек. Алгач алар "Администрация" панелине> "Орнотуулар"> "Туруктуу шилтемеге" өтүп, маалымат базасын текшеришет.
Демейки боюнча, база тег болуп саналат, эгер талаа бош болсо: Тыюу салуу: / тэг /. Эгер категория колдонулса, анда сиз robot.txt файлындагы категорияны өчүрүшүңүз керек: Тыюу салуу: /категория/. Демейки боюнча, база тег болуп саналат, эгерде талаа бош болсо: Disallow: / tag /. Эгер категория колдонулса, анда сиз robot.txt файлындагы категорияны өчүрүшүңүз керек: Тыюу салуу: / категория /.
Негизинен мазмунду көрсөтүү үчүн колдонулган файлдар, алар Wordpress үчүн туура Robots txt файлы тарабынан бөгөттөлөт:
Joomlaнын негизги жөндөөлөрү
Колдонуучу Joomla орнотуп алгандан кийин, сиз башкаруу панелинде жайгашкан глобалдык конфигурацияда туура Joomla Robots txt жөндөөсүн көрүшүңүз керек. Бул жерде кээ бир орнотуулар SEO үчүн абдан маанилүү болуп саналат. Алгач сайттын атын таап, аны текшериңизсайттын кыска аталышы колдонулат. Андан кийин алар ошол эле экрандын оң жагында SEO орнотуулары деп аталган орнотуулар тобун табышат. Сөзсүз түрдө өзгөртүлүшү керек болгон экинчиси: кайра жазуу URL дарегин колдонуңуз.
Бул татаал угулат, бирок ал негизинен Joomlaга таза URL'дерди түзүүгө жардам берет. Эгер URL даректеринен index.php сызыгын алып салсаңыз, эң байкалат. Эгер сиз аны кийинчерээк өзгөртсөңүз, URL'дер өзгөрүп, Google аны жактырбай калат. Бирок, бул жөндөөнү өзгөрткөндө, Joomla үчүн роботтордун туура txt файлын түзүү үчүн бир эле учурда бир нече кадам жасалышы керек:
- Htaccess.txt файлын Joomla түпкү папкасынан табыңыз.
- Аны.htaccess катары белгиле (кеңейтүү жок).
- Сайттын аталышын беттин аталыштарына кошуңуз.
- Глобалдык конфигурация экранынын ылдый жагындагы метадайындардын жөндөөлөрүн табыңыз.
Булуттагы робот MODX
Мурда MODX Cloud колдонуучуларга башкаруу панелиндеги которгучтун негизинде robots.txt файлын тейлөөгө уруксат берүү аракетин көзөмөлдөө мүмкүнчүлүгүн берген. Бул пайдалуу болгону менен, инструменталдык тактадагы параметрди которуштуруу менен кокусунан стадия/дев сайттарында индексациялоого уруксат берүү мүмкүн болду. Ошо сыяктуу эле, өндүрүш сайтында индекстөөнү өчүрүү оңой эле.
Бүгүн бул кызмат файл тутумунда robots.txt файлдарынын болушун болжолдойт: modxcloud.com менен аяктаган ар бир домен уруксат бербөө катары кызмат кылат: /бар болгонуна карабастан, бардык колдонуучу агенттери үчүн директивасы же файлдын жоктугу. Чыныгы зыяратчылардын трафигин алган өндүрүш сайттары, эгер колдонуучу өз сайтын индекстегиси келсе, өздөрүнүн доменин колдонушу керек болот.
Кээ бир уюмдар Контексттерди колдонуу менен бир орнотуудан бир нече веб-сайтты иштетүү үчүн modx үчүн туура Robots txt колдонушат. Муну колдонууга мүмкүн болгон учур катары ачык маркетинг сайты, микро сайттар жана коомдук эмес интранет менен айкалыштырылышы мүмкүн.
Салттуу түрдө муну көп колдонуучу орнотуулары үчүн аткаруу кыйынга турат, анткени алар бир тармактын тамырын бөлүшөт. MODX Cloud менен бул оңой. Жөн гана кошумча файлды robots-intranet.example.com.txt деп аталган веб-сайтка төмөнкү мазмун менен жүктөңүз жана ал жакшы иштеген роботтор менен индекстештирүүгө бөгөт коёт жана башка белгилүү бир аталыш түйүндөрү болбосо, бардык башка хост аттары стандарттуу файлдарга кайтып келет.
Robots.txt – колдонуучуга Google, негизги издөө системалары жана башка веб-сайттардагы сайтка шилтеме берген маанилүү файл. Веб сервердин түбүндө жайгашкан бул файл веб-роботторго сайтты сүзүп чыгууну, Bot Exclusion Protocol деп аталган инструкциялардын жыйындысын колдонуп, кайсы папкаларды индекстөө керек же индекстебеши керек экенин белгилейт. Бардык издөө системалары үчүн туура Robots txt мисалы obots.txt SeoToaster менен эмне үчүн өзгөчө жеңил болуп саналат. Ал үчүн башкаруу панелинде атайын меню түзүлгөн, андыктан бот кирүү үчүн эч качан ашыкча иштебейт.
