Веб-сайтты индекстөө деген эмне? Бул кантип болот? Ушул жана башка суроолорго жоопту макаладан таба аласыз. Веб индекстөө (издөө системаларында индекстөө) – издөө роботу тарабынан сайт жөнүндө маалыматты маалымат базасына кошуу процесси, ал кийин мындай процедурадан өткөн веб-долбоорлор боюнча маалыматты издөө үчүн колдонулат.
Веб-ресурстар жөнүндө маалыматтар көбүнчө ачкыч сөздөрдөн, макалалардан, шилтемелерден, документтерден турат. Аудио, сүрөттөр жана башкалар да индекстелиши мүмкүн. Ачкыч сөздү аныктоо алгоритми издөө системасына көз каранды экени белгилүү.
Индекстелген маалыматтын түрлөрүнө (флеш файлдар, javascript) бир аз чектөөлөр бар.
Инициацияны башкаруу
Сайтты индекстөө татаал процесс. Аны башкаруу үчүн (мисалы, белгилүү бир баракты тиркөөгө тыюу салуу үчүн) сиз robots.txt файлын жана уруксат берүү, тыюу салуу, Crawl-кечиктирүү, User-агент жана башкалар сыяктуу нускамаларды колдонушуңуз керек.
Ошондой эле, Google жана Yandex роботторунан ресурстун мазмунун жашырып индекстөө үчүн тэгдер жана реквизиттер колдонулат (Yahoo тэгди колдонот).
Goglle издөө системасында жаңы сайттар бир-эки күндөн бир жумага чейин, ал эми Яндексте бир жумадан төрт жумага чейин индекстелет.
Сайтыңыз издөө системасынын натыйжаларынын сурамдарында көрүнүшүн каалайсызбы? Андан кийин аны Rambler, Yandex, Google, Yahoo, ж.б.у.с. иштетиши керек. Сиз издөө системаларына (жөргөмүштөр, системалар) веб-сайтыңыздын бар экендиги жөнүндө маалымдашыңыз керек, ошондо алар аны толугу менен же жарым-жартылай сойлошот.
Көптөгөн сайттар жылдар бою индекстеле элек. Алардагы маалыматты ээлеринен башка эч ким көрө албайт.
Иштетүү ыкмалары
Сайтты индекстөө бир нече жол менен жасалышы мүмкүн:
- Биринчи параметр кол менен кошуу. Сайтыңыздын дайындарын издөө системалары сунуштаган атайын формалар аркылуу киргизишиңиз керек.
- Экинчи учурда, издөө роботу өзү сиздин веб-сайтыңызды шилтемелер аркылуу таап, аны индекстейт. Ал сиздин сайтты сиздин долбоорго алып баруучу башка ресурстардан шилтемелер аркылуу таба алат. Бул ыкма эң натыйжалуу болуп саналат. Эгер издөө системасы сайтты ушундай жол менен тапса, аны маанилүү деп эсептейт.
Убакыт
Сайтты индекстөө өтө тез эмес. Шарттар ар кандай, 1-2 жумага чейин. Авторитеттүү ресурстардан шилтемелер (мыкты PR жана Titz менен) сайттын издөө тутумунун маалымат базасына жайгаштырылышын кыйла тездетет. Бүгүнкү күндө Google эң жай деп эсептелет, бирок 2012-жылга чейин ал бул ишти бир жумада аткара алган. үчүнТилекке каршы, нерселер абдан тез өзгөрөт. Маалым болгондой, Mail.ru бул тармактагы сайттар менен алты айга жакын убакыттан бери иштеп келет.
Издөө системаларында сайтты индекстөө ар бир адистин колунан келе бербейт. Издөө системалары тарабынан иштетилген сайттын маалымат базасына жаңы барактарды кошуу убактысы анын мазмунун жаңыртуу жыштыгына жараша болот. Эгерде ресурста жаңы маалымат дайыма пайда болуп турса, система аны тез-тез жаңыртып турат жана адамдар үчүн пайдалуу деп эсептейт. Бул учурда анын иши тездетилген.
Сиз веб-сайттын индекстөө жүрүшүнө вебмастерлер үчүн атайын бөлүмдөрдөн же издөө системаларынан көз салсаңыз болот.
Өзгөрүүлөр
Ошентип, биз сайт кантип индекстелерин түшүндүк. Белгилей кетсек, издөө системаларынын маалымат базалары тез-тез жаңыланып турат. Ошондуктан, долбооруңуздун аларга кошулган барактарынын саны төмөнкү себептерден улам өзгөрүшү мүмкүн (кичирейиши да, көбөйүшү да):
- вебсайтка каршы издөө механизминин санкциялары;
- сайтта каталардын болушу;
- издөө системасынын алгоритмдерин өзгөртүү;
- жийиркеничтүү хостинг (долбоор жайгашкан сервердин жеткиликсиздиги) жана башкалар.
Яндекс жалпы суроолорго жооптор
"Яндекс" - көптөгөн колдонуучулар колдонгон издөө системасы. Ал иштелип чыккан изилдөө сурамдарынын саны боюнча дүйнөдөгү издөө системаларынын арасында бешинчи орунда турат. Эгер сиз ага сайт кошсоңуз, маалымат базасына кошууга өтө көп убакыт талап кылынышы мүмкүн.
URL кошуу анын индекстелишине кепилдик бербейт. Бул система роботуна айтылган ыкмалардын бири ганажаңы ресурс жөнүндө. Башка веб-сайттардагы сайтка шилтемелер аз же такыр жок болсо, аны кошуу аны тезирээк табууга жардам берет.
Эгерде индекстөө ишке ашпаса, Яндекс роботунан ага тиркемени түзүү учурунда серверде кандайдыр бир мүчүлүштүктөр болгон-болбогондугун текшерүү керек. Сервер ката жөнүндө кабарласа, робот ишин токтотуп, аны айланып өтүү тартибинде бүтүрүүгө аракет кылат. Яндекс кызматкерлери издөө системасынын маалымат базасына барактарды кошуунун ылдамдыгын жогорулата алышпайт.
Яндексте сайтты индекстөө өтө татаал иш. Сиз издөө системасына кантип ресурс кошууну билбей жатасызбы? Эгер ага башка веб-сайттардан шилтемелер бар болсо, анда атайын сайтты кошуунун кереги жок - робот аны автоматтык түрдө таап, индекстейт. Эгер сизде андай шилтемелер жок болсо, издөө системасына сайт бар экенин билдирүү үчүн "URL кошуу" формасын колдонсоңуз болот.
URL кошуу сиздин түзүлүшүңүздүн индекстелишине (же индекстелишине) кепилдик бербей турганын эстен чыгарбаңыз.
Көпчүлүк адамдар Яндексте сайтты индекстөө үчүн канча убакыт талап кылынарын кызыктырышат. Бул компаниянын кызматкерлери кепилдик беришпейт жана мөөнөттөрүн алдын ала айтышпайт. Эреже катары, робот сайт жөнүндө билгенден кийин, анын издөөдөгү барактары эки күндөн кийин, кээде бир-эки аптада пайда болот.
Процесс
"Яндекс" тактыкты жана көңүл бурууну талап кылган издөө системасы. Сайтты индекстөө үч бөлүктөн турат:
- Издөө роботу ресурс баракчаларын кыдырат.
- МазмунСайттын (мазмуну) издөө системасынын маалымат базасында (индексинде) жазылган.
- 2-4 жумадан кийин, маалымат базасын жаңырткандан кийин, жыйынтыгын көрө аласыз. Сайтыңыз издөө натыйжаларында көрүнөт (же көрүнбөйт).
Индекстөө текшерүү
Веб-сайттын индексациясын кантип текшерсе болот? Муну жасоонун үч жолу бар:
- Издөө тилкесине бизнесиңиздин атын киргизиңиз (мисалы, "Яндекс") жана биринчи жана экинчи барактардагы ар бир шилтемени текшериңиз. Эгер сиз ойлоп тапкан URL дарегин ошол жерден тапсаңыз, анда робот өз милдетин аткарды.
- Сиз издөө тилкесине вебсайтыңыздын URL дарегин киргизсеңиз болот. Канча интернет баракчалары көрсөтүлгөнүн, б.а. индекстелгенин көрө аласыз.
- Mail.ru, Google, Yandex сайттарында веб-мастерлердин баракчаларына катталыңыз. Сайттын текшерүүсүнөн өткөндөн кийин, индекстөө натыйжаларын жана ресурсуңуздун майнаптуулугун жакшыртуу үчүн түзүлгөн башка издөө системаларынын кызматтарын көрө аласыз.
Яндекс эмне үчүн иштебей калды?
Google'да сайтты индекстөө төмөнкүдөй ишке ашырылат: робот маалымат базасына сайттын сапатсыз жана сапаттуу бардык баракчаларын тандабастан киргизет. Бирок рейтингге пайдалуу документтер гана кирет. Ал эми "Яндекс" дароо бардык желе таштандыларды жок кылат. Ал каалаган баракты индекстей алат, бирок издөө системасы акыры бардык таштандыларды жок кылат.
Эки системанын тең кошумча индекси бар. Сапатсыз барактардын экөө тең веб-сайттын рейтингине жалпысынан таасир этет. Бул жерде жөнөкөй философия иштейт. Белгилүү бир адамдын сүйүктүү ресурстарыколдонуучу анын чыгарууда жогорку кызматтарды ээлейт. Бирок ошол эле адам акыркы жолу жактырбаган сайтты таба албай кыйналат.
Ошондуктан, биринчиден, веб-документтердин көчүрмөлөрүн индекстөөдөн жабуу, бош барактарды текшерүү жана сапаты төмөн мазмундун индекстелишине жол бербөө керек.
Яндексти ылдамдатуу
Яндексте сайттын индексациясын кантип тездетсем болот? Бул кадамдарды аткарыңыз:
- Компьютериңизге Yandex браузерин орнотуп, аны сайттын барактарын карап чыгуу үчүн колдонуңуз.
- Яндекс. Вебмастерде ресурсту башкаруу укуктарын ырастаңыз.
- Твиттерде макаланын шилтемесин жарыялаңыз. Яндекс бул компания менен 2012-жылдан бери кызматташып келе жатканы белгилүү.
- Сайтка Яндекстен издөөнү кошуу. "Индекстөө" бөлүмүнө өзүңүздүн URL даректериңизди киргизсеңиз болот.
- "Яндекс. Метрика" кодун "Индекстөө үчүн баракчаларды тапшырууга тыюу салынган" белгисин койбостон киргизиңиз.
- Робот үчүн гана бар жана аудиторияга көрүнбөгөн Сайттын картасын чыгарыңыз. Текшерүү аны менен башталат. Сайттын картасынын дареги robots.txt файлына же тиешелүү формада "Вебмастерде" - "Индекстөө орнотуулары" - "Сайттын картасы файлдарында" киргизилет.
Аралык аракеттер
Веб-баракча Yandex тарабынан индекстелмейинче эмне кылуу керек? Ата мекендик издөө системасы сайтты негизги булак катары карашы керек. Мына ошондуктан макала жарыяланганга чейин эле анын мазмунун «Конкреттүү тексттердин» формасына кошуу зарыл. Каршы Учурдаплагиаттар жазууну өз ресурсуна көчүрүшөт жана маалымат базасында биринчи болушат. Натыйжада, алар авторлор катары таанылат.
Google маалымат базасы
Google үчүн биз жогоруда сүрөттөгөн сунуштар ылайыктуу, кызматтар гана айырмаланат:
- Google+ (Твиттердин ордуна);
- Google Chrome;
- Программисттер үчүн Google куралдары - "Скандоо" - "Googlebot окшош" - "Скандоо" опциясы - "Индекс" опциясы;
- Google'дан булактан издөө;
- Google Analytics (Yandex. Metrics ордуна).
Тыюу
Сайтты индекстөөгө тыюу салуу деген эмне? Сиз аны бүт бетке да, анын өзүнчө бир бөлүгүнө да (шилтеме же тексттин бөлүгү) каптасаңыз болот. Чынында, глобалдык индексацияга тыюу салуу да, жергиликтүү дагы бар. Ал кантип ишке ашырылат?
Келгиле, Robots.txt ичиндеги издөө системасынын маалымат базасына веб-сайтты кошууга тыюу салууну карап көрөлү. robots.txt файлын колдонуп, бир баракты же бүтүндөй ресурстук аталышты төмөнкүдөй индексациялоону жокко чыгара аласыз:
- Колдонуучу-агент:
- Болбоо: /kolobok.html
- Болбоо: /foto/
Биринчи пункт инструкциялар бардык PS үчүн аныкталганын айтат, экинчиси kolobok.html файлын индексациялоого тыюу салынганын, үчүнчүсү фото папканы толугу менен толтурууга жол бербейт. маалымат базасы. Эгер бир нече барактарды же папкаларды чыгарып салышыңыз керек болсо, алардын баарын Robotsто белгилеңиз.
Кайсы бир интернет барагынын индекстелишине жол бербөө үчүн роботтун мета тегин колдонсоңуз болот. Бул robots.txt'тен айырмаланатбир эле учурда бардык PS үчүн көрсөтмөлөрдү бергендиги. Бул мета теги html форматынын жалпы принциптерине ылайык келет. Ал барактын аталышында тегдердин ортосунда жайгаштырылышы керек. Тыюу салуу үчүн жазуу, мисалы, төмөнкүдөй жазылышы мүмкүн:.
Аякс
Яндекс Ajax сайттарын кантип индекстейт? Бүгүнкү күндө Ajax технологиясы көптөгөн веб-сайттарды иштеп чыгуучулар тарабынан колдонулат. Албетте, анын потенциалы чоң. Анын жардамы менен сиз тез жана жемиштүү интерактивдүү веб баракчаларды түзө аласыз.
Бирок, издөө роботу желе тизмесин колдонуучу менен браузерден башкача "көрөт". Мисалы, адам кыймылдуу жүктөлгөн интернет баракчалары менен ыңгайлуу интерфейсти карайт. Crawler үчүн ошол эле барактын мазмуну бош болушу мүмкүн же статикалык HTML мазмунунун калган бөлүгү катары көрсөтүлүшү мүмкүн, алар үчүн скрипттер иштебейт.
Ajax сайттарын түзүү үчүнменен URL колдонсоңуз болот, бирок издөө системасы аны колдонбойт. Адатта URL'динбелгисинен кийинки бөлүгү бөлүнөт. Муну эске алуу керек. Ошондуктан, https://site.ru/example сыяктуу URL ордуна, ал https://site.ru дарегинде жайгашкан ресурстун башкы бетине арыз түзөт. Бул Интернет баракчасынын мазмуну маалымат базасына кирбей калышы мүмкүн дегенди билдирет. Натыйжада, ал издөө натыйжаларында көрүнбөйт.
Ajax сайттарынын индексациясын жакшыртуу үчүн, Яндекс издөө роботундагы өзгөртүүлөрдү жана мындай веб-сайттардын URL даректерин иштетүү эрежелерин колдоду. Бүгүнкү күндө веб-мастерлер Yandex издөө системасына ресурстук түзүмдө тиешелүү схеманы түзүү менен индекстөө зарылдыгын көрсөтө алышат. Бул үчүн сизге керек:
- Барактардын URL дарегиндегибелгисин алмаштырыңызүстүндө !. Эми робот бул интернет барагынын мазмунунун HTML версиясына кайрыла аларын түшүнөт.
- Мындай барактын мазмунунун HTML версиясы URL дарегине жайгаштырылышы керек, мында ! ?_escaped_fragment_=менен алмаштырылды.
