BLEXBot Paletli

Nedir​

BLEXBot tarayıcısı, içeriği incelemek ve analiz etmek için sayfaları ziyaret eden otomatik bir robottur, bu anlamda büyük arama motoru şirketlerinin kullandığı robotlara benzer.

BLEXBot tarayıcısı, aşağıdaki biçimde bir kullanıcı aracısına sahip olarak tanımlanır:
Mozilla / 5.0 (uyumlu; BLEXBot / 1.0; + http: //webmeup-crawler.com/)

BLEXBot tarayıcısı, yukarıdaki kullanıcı aracısı ile tanımlanabilir. Sahte taleplerden şüpheleniyorsanız, önce isteğin IP adresini kontrol etmeli ve uygun araçlar aracılığıyla etki alanı adını görmek için ters DNS araması yapmalısınız - bu, * .webmeup.com'un alt alanlarından birini göstermelidir .

Sitenizin performansını önemsiyoruz ve asla zarar vermeyeceğiz!​

BLEXbot, site dostu bir tarayıcıdır. Siteleri tararken bunu olabildiğince "nazik" yaptık: robots.txt dosyanızda başka bir tarama gecikmesi belirtilirse, 3 saniyede yalnızca 1 istekte bulunur veya daha seyrek olur. BLEXbot, robots.txt dosyanızda belirttiğiniz kurallara saygı duyar.
Herhangi bir sorun ortaya çıkarsa, bunlar sizin sitenizin özelliklerinden veya size bağlanan başka bir sitedeki bir hatadan kaynaklanıyor olabilir. Bu nedenle, BLEXbot ile ilgili herhangi bir sorun fark ederseniz, lütfen bunu customercare@webmeup.com adresine bildirin. Taramanın sitenizin performansını asla etkilememesi için, özel siteniz için hızlı bir şekilde benzersiz ayarlar yapacağız.

Neden sitemi tarıyor​

BLEXBot, herhangi bir teknik ve olası yasal sorunu önlemek ve genel çevrimiçi deneyimi iyileştirmek için internet pazarlamacılarına sitelerin bağlantı yapısı ve web üzerindeki bağlantılarıyla ilgili bilgi alma konusunda yardımcı olur. Bunu yapmak için, içeriğindeki tüm bağlantıları toplamak ve kontrol etmek için sayfayı incelemek veya taramak gerekir.

BLEXBot Tarayıcısı sitenizi ziyaret ettiyse, bu, bağlantıların daha önce o sayfada toplanıp test edilmediği veya yenilenmesi gerekmediği anlamına gelir. Bu nedenle, BLEXBot tarayıcısından aynı sayfaya yinelenen istekleri görmeyeceksiniz.

Crawler sistemleri, herhangi bir belirli siteyle istek oranlarının sınırlandırılması (BLEXBot, 3 saniyede birden fazla isabet yapmaz), bir site çalışmadığında veya yavaşsa otomatik olarak geri çekilerek mümkün olduğunca kolay olacak şekilde tasarlanmıştır.

---

Robots.txt ile engelleme​

Öncelikle BLEXBot'un:

1. Herhangi bir rastgele ziyaretçi tarafından erişilebilen yalnızca halka açık bilgilerin toplanması. Tarayıcının bazı hassas bilgileri topladığını düşünüyorsanız, lütfen bunları genel erişimden kaldırın.
2. Sitenizi aşırı yükleyemez ve ona herhangi bir zarar veremez - BLEXBot çok kibar olacak şekilde tasarlanmıştır ve maksimum 3 saniyede yalnızca 1 vuruş yapabilir. Ayrıca, BLEXBot'u (ve sitenizde olması gereken robots.txt dosyasından talimatları alan diğer herhangi bir robot / tarayıcıyı) kolayca yavaşlatabilirsiniz.
3. Sitenizdeki herhangi bir bilgiyi okumaz, ayrıştırmaz, toplamaz veya saklamaz, ancak sayfalarınızdaki bağlantılar. Bu, sayfalarınızdaki herhangi bir metin, grafik veya video materyali veya başka herhangi bir şeyi ifade eder.

Bir robots.txt dosyasıyla, aşağıdaki örneklerde gösterildiği gibi, BLEXBot Tarayıcısını sitenizin bazı kısımlarından veya tamamından engelleyebilir ya da yavaşlatabilirsiniz:

Sitenizin belirli bölümlerini engelleyin:

Tüm siteyi engelle:

Tarayıcıyı Yavaşlatın:

Dikkat: robots.txt dosyanızda değişiklik yaptığınız anda , lütfen tarayıcıya web sitenizi taramayı tamamen durdurması için 10 dakika bekleyin. Bunun nedeni, bazı sayfaların halihazırda işlem kuyruğunda olması, dolayısıyla tarayıcının hemen duracağını garanti edemeyiz. Ancak, en fazla 10 dakika sonra taramayı tamamen durdurmalıdır .

Robots.txt protokolüne genel bir giriş için lütfen The Web Robots Pages adresine bakın . Robots.txt kurallarına ilişkin daha fazla ayrıntı ve örnek için lütfen Wikipedia makalesine de bakın .