SEO оптимализаторунун иши абдан масштабдуу. Жаңы баштагандарга эч кандай кадамдарды өткөрүп жибербөө үчүн оптималдаштыруу алгоритмин жазуу сунушталат. Болбосо, жылдыруу ийгиликтүү деп айтуу кыйын, анткени сайт үзгүлтүккө учурап, көпкө чейин оңдоого туура келген каталарды көрүп турат.
Оптималдаштыруу кадамдарынын бири robots.txt файлы менен иштөө. Ар бир ресурста бул документ болушу керек, анткени ансыз оптималдаштыруу менен күрөшүү кыйыныраак болот. Ал түшүнүшүңүз керек болгон көптөгөн функцияларды аткарат.
Робот Жардамчысы
Robots.txt файлы бул системанын стандарттык блокнотунда көрүүгө боло турган жөнөкөй тексттик документ. Аны түзүүдө сиз коддоону UTF-8ге коюңуз, ал туура окулушу үчүн. Файл http, https жана FTP протоколдору менен иштейт.
Бул документ роботторду издөөнүн жардамчысы. Эгер сиз билбесеңиз, ар бир система суроо-талаптар үчүн тиешелүү сайттарды кайтаруу үчүн Бүткүл дүйнөлүк желени тез сойлоп жүргөн "жөргөмүштөрдү" колдонот.колдонуучулар. Бул роботтор ресурс дайындарына кирүү мүмкүнчүлүгүнө ээ болушу керек, бул үчүн robots.txt иштейт.
Жөргөмүштөр өз жолун табышы үчүн, robots.txt документин түпкү каталогго жөнөтүшүңүз керек. Сайтта бул файл бар экенин текшерүү үчүн браузердин дарек тилкесине “https://site.com.ua/robots.txt” киргизиңиз. "site.com.ua" дегендин ордуна керектүү ресурсту киргизишиңиз керек.
Документ функциялары
Robots.txt файлы жөрмөлөгүчтөрдү маалыматтын бир нече түрү менен камсыз кылат. Ал "жөргөмүш" ресурстун белгилүү элементтерин сканерлөө үчүн жарым-жартылай мүмкүнчүлүк бере алат. Толук жетүү бардык жеткиликтүү барактарды текшерүүгө мүмкүндүк берет. Толук тыюу салуу роботтордун текшерип башташына жол бербейт жана алар сайттан чыгып кетишет.
Ресурска киргенден кийин "жөргөмүштөр" суроо-талапка тиешелүү жооп алышат. Алардын бир нечеси болушу мүмкүн, баары robots.txt ичиндеги маалыматка жараша болот. Мисалы, сканерлөө ийгиликтүү болсо, робот 2xx кодун алат.
Балким, сайт бир барактан экинчи баракчага багытталды. Бул учурда робот 3xx кодун алат. Эгер бул код бир нече жолу кайталанса, анда жөргөмүш башка жооп алганга чейин аны ээрчийт. Бирок, эреже катары, ал 5 гана аракет колдонот. Болбосо, популярдуу 404 катасы пайда болот.
Эгер жооп 4xx болсо, анда робот сайттын бүт мазмунун сүзө алат. Бирок 5xx кодунда текшерүү толугу менен токтоп калышы мүмкүн, анткени бул көбүнчө сервердин убактылуу каталарын көрсөтүп турат.
Эмне үчүнrobots.txt керекпи?
Сиз ойлогондой, бул файл роботтордун сайттын түпкү түпкү нускасы. Эми ал туура эмес мазмунга кирүү мүмкүнчүлүгүн жарым-жартылай чектөө үчүн колдонулат:
- колдонуучулардын жеке маалыматы бар баракчалар;
- күзгү сайттар;
- издөө натыйжалары;
- маалымат тапшыруу формалары, ж.б.
Эгер сайттын тамырында robots.txt файлы жок болсо, робот бардык мазмунду кыдырып чыгат. Демек, издөө натыйжаларында керексиз маалыматтар пайда болушу мүмкүн, демек, сиз да, сайт да жабыркайт. Эгер robots.txt документинде атайын көрсөтмөлөр болсо, анда "жөргөмүш" аларды ээрчип, ресурстун ээси каалаган маалыматты берет.
Файл менен иштөө
Сайтты индекстөөдөн бөгөттөө үчүн robots.txt колдонуу үчүн бул файлды кантип түзүү керектигин аныкташыңыз керек. Бул үчүн нускамаларды аткарыңыз:
- Блокнот же Notepad++ ичинде документ түзүңүз.
- ".txt" файл кеңейтүүсүн коюңуз.
- Керектүү маалыматтарды жана буйруктарды киргизиңиз.
- Документти сактап, сайттын тамырына жүктөңүз.
Көрүп тургандай, этаптардын биринде роботтор үчүн буйруктарды коюу керек. Алар эки түрдүү болот: уруксат берүү (Уруксат берүү) жана тыюу салуу (Болбоо). Ошондой эле, кээ бир оптимализаторлор издөө ылдамдыгын, хостту жана ресурстун бет картасына шилтемени көрсөтүшү мүмкүн.
Robots.txt менен иштеп баштоо жана сайтты индекстөөдөн толугу менен бөгөттөө үчүн колдонулган символдорду да түшүнүшүңүз керек. Мисалы, документте"/" колдонуңуз, бул сайт толугу менен тандалганын көрсөтөт. Эгерде "" колдонулса, анда символдордун ырааттуулугу талап кылынат. Ушундай жол менен, скандоочу же сканерленбей турган белгилүү бир папканы көрсөтүү мүмкүн болот.
Боттордун өзгөчөлүгү
Издөө системалары үчүн "Жөргөмүштөр" ар түрдүү, ошондуктан бир эле учурда бир нече издөө системаларында иштесеңиз, анда бул учурду эске алышыңыз керек болот. Алардын аттары ар түрдүү, демек, белгилүү бир робот менен байланышкыңыз келсе, анын атын көрсөтүшүңүз керек болот: “Колдонуучу агенти: Яндекс” (тырмакчасыз).
Эгер сиз бардык издөө системалары үчүн директиваларды коюуну кааласаңыз, анда төмөнкү буйрукту колдонушуңуз керек: "Колдонуучу агент: " (тырмакчасыз). Robots.txt аркылуу сайтты индекстөөдөн туура бөгөттөө үчүн, популярдуу издөө системаларынын өзгөчөлүктөрүн билишиңиз керек.
Чындыгында эң популярдуу издөө системалары Yandex жана Google бир нече ботко ээ. Алардын ар биринин өз милдеттери бар. Мисалы, Yandex Bot жана Googlebot сайтты сойлоп жүргөн негизги "жөргөмүштөр". Бардык ботторду билип, ресурсуңуздун индексациясын тактоо оңой болот.
Мисалдар
Ошентип, robots.txt жардамы менен сиз жөнөкөй буйруктар менен сайтты индекстөөдөн жапсаңыз болот, эң негизгиси сизге эмне керек экенин түшүнүү. Мисалы, Googlebot сиздин ресурсуңузга жакындабасын десеңиз, ага тиешелүү буйрукту беришиңиз керек. Ал төмөнкүдөй болот: "Колдонуучу-агент: Googlebot Disallow: /" (тырмакчасыз).
Эми биз бул буйрукта эмне бар экенин жана ал кантип иштээрин түшүнүшүбүз керек. Ошентип, "Колдонуучу-агент"боттордун бирине түз чалууну колдонуу үчүн колдонулат. Андан кийин, биз кайсынысын көрсөтөбүз, биздин учурда бул Google. "Болбоо" буйругу жаңы саптан башталып, роботко сайтка кирүүгө тыюу салышы керек. Бул учурда слэш белгиси ресурстун бардык барактары буйруктун аткарылышы үчүн тандалганын көрсөтөт.
Robots.txt ичинде сиз жөнөкөй буйрук менен бардык издөө системалары үчүн индексациялоону өчүрө аласыз: "Колдонуучу-агент:Тыюу салуу: /" (тырмакчасыз). Бул учурда жылдызча белги бардык издөө роботторун билдирет. Адатта, мындай буйрук сайттын индексациясын тындыруу жана андагы негизги ишти баштоо үчүн керек, антпесе оптималдаштырууга таасир этиши мүмкүн.
Эгер ресурс чоң жана көп барактары бар болсо, анда көбүнчө ачыкка чыгаруу жагымсыз болгон менчик маалымат камтылган же жарнамага терс таасирин тийгизиши мүмкүн. Бул учурда, сиз баракты robots.txt файлында индекстөөдөн кантип жабууну түшүнүшүңүз керек.
Сиз папканы же файлды жашыра аласыз. Биринчи учурда, сиз белгилүү бир бот же ар бир адам менен байланышып, кайра башташыңыз керек, ошондуктан биз "Колдонуучу-агент" буйругун колдонобуз, ал эми төмөндө белгилүү бир папка үчүн "Болбоо" буйругун көрсөтөбүз. Ал мындай болот: "Болбоо: / папка /" (тырмакчасыз). Ошентип, сиз бүт папканы жашырасыз. Эгер анда сиз көрсөткүңүз келген маанилүү файл болсо, анда төмөнкү буйрукту жазышыңыз керек: “Уруксат берүү: /folder/file.php” (тырмакчасыз).
Файлды текшерүү
Эгер сайтты жабуу үчүн robots.txt колдонулсаИндекстөө ийгиликтүү болду, бирок бардык директиваларыңыз туура иштегенин билбейсиз, иштин тууралыгын текшере аласыз.
Адегенде документтин жайгашуусун кайра текшеришиңиз керек. Ал түпкү папкада гана болушу керек экенин унутпаңыз. Эгер ал түпкү папкада болсо, анда ал иштебейт. Андан кийин, браузерди ачып, ал жерге төмөнкү даректи киргизиңиз: “https://yoursite. com/robots.txt (тырмакчасыз). Эгер веб-браузериңизде ката чыксаңыз, файл ал болушу керек жерде эмес.
Директиваларды дээрлик бардык вебмастерлер колдонгон атайын куралдардан текшерсе болот. Кеп Google жана Яндекс продуктылары жөнүндө болуп жатат. Мисалы, Google Search Console'до куралдар панели бар, анда сиз "Crawl" ачып, андан кийин "Robots.txt File Inspection Tool" иштетишиңиз керек. Документтен бардык маалыматтарды терезеге көчүрүп, сканерлөөнү баштоо керек. Дал ушул эле текшерүүнү Yandex. Webmasterде жасаса болот.
