"Tarayıcı", bir web sayfasından diğerine giden bağlantıları izleyerek, web sitelerini otomatik bir biçimde keşfedip taramak amacıyla yararlanılan tüm programlar (robot veya örümcek gibi) için kullanılan genel bir terimdir. Google'ın ana tarayıcısına Googlebot adı verilir. Bu tabloda hem yönlendiren günlüklerinizde görebileceğiniz yaygın kullanılan Google tarayıcılarıyla ilgili bilgiler hem de bunların robots.txt, robots meta etiketleri ve X-Robots-Tag HTTP yönergelerinde nasıl belirtileceği listelenmektedir.
Aşağıdaki tabloda, Google’daki çeşitli ürün ve hizmetler tarafından kullanılan tarayıcılar gösterilmektedir:
- Kullanıcı aracısı jetonu, robots.txt dosyanızdaki User-agent: satırında, siteniz için tarama kuralları yazılırken tarayıcı türüyle eşleştirme yapmak için kullanılır. Bazı tarayıcıların tabloda gösterildiği gibi birden fazla jetonu vardır; bir kuralı uygulamak için yalnızca bir tarayıcı jetonunun eşleşmesi yeterlidir. Bu liste tam olmasa da web sitenizde görebileceğiniz tarayıcıların çoğunu kapsamaktadır.
- Tam kullanıcı aracısı dizesi, tarayıcının tam açıklamasıdır; istekte ve web günlüklerinizde görünür.Bu değerler sahte olabilir. Ziyaretçinin Googlebot olduğunu doğrulamanız gerekiyorsa ters DNS araması kullanın.
Tarayıcılar | |
---|
APIs-Google |
Kullanıcı aracısı jetonu | APIs-Google | Tam kullanıcı aracısı dizesi | APIs-Google (+APIs-Google User Agent | Google Search Central | Documentation | Google Developers) |
|
AdSense |
Kullanıcı aracısı jetonu | Mediapartners-Google | Tam kullanıcı aracısı dizesi | Mediapartners-Google |
|
AdsBot Mobil Web Android | Android web sayfası reklam kalitesini kontrol eder.
Kullanıcı aracısı jetonu | AdsBot-Google-Mobile | Tam kullanıcı aracısı dizesi | Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +Overview of Google crawlers (user agents) | Search Central) |
|
AdsBot Mobil Web | iPhone web sayfası reklam kalitesini kontrol eder.
Kullanıcı aracısı jetonu | AdsBot-Google-Mobile | Tam kullanıcı aracısı dizesi | Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +Overview of Google crawlers (user agents) | Search Central) |
|
AdsBot | Masaüstü web sayfası reklam kalitesini kontrol eder.
Kullanıcı aracısı jetonu | AdsBot-Google | Tam kullanıcı aracısı dizesi | AdsBot-Google (+Overview of Google crawlers (user agents) | Search Central) |
|
Googlebot Görsel |
Kullanıcı aracısı jetonları |
- Googlebot-Image
- Googlebot
| Tam kullanıcı aracısı dizesi | Googlebot-Image/1.0 |
|
Googlebot Haberler |
Kullanıcı aracısı jetonları | | Tam kullanıcı aracısı dizesi | Googlebot-News |
|
Googlebot Video |
Kullanıcı aracısı jetonları |
- Googlebot-Video
- Googlebot
| Tam kullanıcı aracısı dizesi | Googlebot-Video/1.0 |
|
Googlebot Masaüstü |
Kullanıcı aracısı jetonu | Googlebot | Tam kullanıcı aracısı dizeleri |
- Mozilla/5.0 (compatible; Googlebot/2.1; +What Is Googlebot | Google Search Central | Google Developers)
- Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +What Is Googlebot | Google Search Central | Google Developers) Chrome/W.X.Y.Z Safari/537.36
- Googlebot/2.1 (+What Is Googlebot | Google Search Central | Google Developers)
|
|
Googlebot Akıllı Telefon |
Kullanıcı aracısı jetonu | Googlebot | Tam kullanıcı aracısı dizesi | Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +What Is Googlebot | Google Search Central | Google Developers) |
|
Mobil AdSense |
Kullanıcı aracısı jetonu | Mediapartners-Google | Tam kullanıcı aracısı dizesi | (Various mobile device types) (compatible; Mediapartners-Google/2.1; +What Is Googlebot | Google Search Central | Google Developers) |
|
Mobil Uygulamalar Android | Android uygulama sayfası reklam kalitesini kontrol eder. AdsBot-Google robots.txt kurallarına uyar.
Kullanıcı aracısı jetonu | AdsBot-Google-Mobile-Apps | Tam kullanıcı aracısı dizesi | AdsBot-Google-Mobile-Apps |
|
Feedfetcher | Feedfetcher, robots.txt kurallarına uymaz. Nedenini buradan öğrenebilirsiniz.
Kullanıcı aracısı jetonu | FeedFetcher-Google | Tam kullanıcı aracısı dizesi | FeedFetcher-Google; (+Google Feedfetcher | Google Search Central | Google Developers) |
|
Google Read Aloud | Google Read Aloud, robots.txt kurallarına uymaz. Nedenini buradan öğrenebilirsiniz.
Kullanıcı aracısı jetonu | Google-Read-Aloud | Tam kullanıcı aracısı dizeleri | Mevcut aracılar:
- Masaüstü aracısı:
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +Google Crawler (User Agent) Overview | Google Search Central | Documentation | Google Developers)
- Mobil aracısı:
Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +Google Crawler (User Agent) Overview | Google Search Central | Documentation | Google Developers)
Eski aracı (kullanımdan kaldırıldı):
google-speakr |
|
Duplex on the web | Duplex on the web, * joker karakteri yok sayabilir. Nedenini buradan öğrenebilirsiniz.
Kullanıcı aracısı jetonu | DuplexWeb-Google | Tam kullanıcı aracısı dizesi | Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36 |
|
Google Favicon | Google Favicon, kullanıcı tarafından başlatılan istekler için robots.txt kurallarını yok sayar.
Kullanıcı aracısı jetonu | Google Favicon | Tam kullanıcı aracısı dizesi | Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon |
|
Web Light | Web Light, robots.txt kurallarına uymaz. Nedenini buradan öğrenebilirsiniz.
Kullanıcı aracısı jetonu | googleweblight | Tam kullanıcı aracısı dizesi | Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19 |
|
Google StoreBot |
Kullanıcı aracısı jetonu | Storebot-Google | Tam kullanıcı aracısı dizeleri |
- Masaüstü aracısı:
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36
- Mobil aracısı:
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36
|
|
Kullanıcı aracılarında Chrome/W.X.Y.Z
Tablodaki kullanıcı aracısı dizelerinde
Chrome/W.X.Y.Z ifadesini gördüğünüz her yerde,
W.X.Y.Z aslında kullanıcı aracısı tarafından kullanılan Chrome tarayıcının sürümünü temsil eden yer tutucudur: Örneğin, 41.0.2272.96. Googlebot tarafından kullanılan en son Chromium sürümüyle eşleşmesi için bu sürüm numarası zaman içinde artar.
Bu sürüm numarası kalıbına sahip bir kullanıcı aracısı için günlüklerinizde arama yapıyor veya sunucunuzu filtreliyorsanız, sürüm numarasını tam olarak belirtmek yerine joker karakterler kullanın.
Robots.txt dosyasındaki kullanıcı aracıları
Robots.txt dosyasında çeşitli kullanıcı aracıları tanınsa da Google en belirgin olanı izler. Google'ın tüm sayfalarınızı tarayabilmesini istiyorsanız robots.txt dosyasına ihtiyacınız yoktur. Google'ın tarayıcılarının içeriğinizin bir kısmına erişimini engellemek veya buna izin vermek istiyorsanız bunu yapmak için Googlebot'u kullanıcı aracısı olarak belirtebilirsiniz. Örneğin, tüm sayfalarınızın Google Arama'da görünmesini ve AdSense reklamlarının sayfalarınızda görünmesini istiyorsanız robots.txt dosyasına ihtiyacınız yoktur. Benzer bir şekilde, Google'ın bazı sayfalara erişimini toplu olarak engellemek istiyorsanız Googlebot kullanıcı aracısını engellediğinizde, Google'ın diğer tüm kullanıcı aracıları da engellenir.
Ancak, daha hassas bir denetime sahip olmak isterseniz daha kesin davranabilirsiniz. Örneğin, tüm sayfalarınızın Google Arama'da görünmesini istiyor, ancak kişisel dizininizdeki resimlerin taranmasını istemiyor olabilirsiniz. Bu durumda, Googlebot-Image kullanıcı aracısının kişisel dizininizdeki dosyaları taramaması (ancak Googlebot'un diğer tüm dosyaları taramasına izin vermek) için robots.txt kullanın. Örneğin:
User-agent: Googlebot
Disallow:
User-agent: Googlebot-Image
Disallow: /personal
Başka bir örneği ele alırsak tüm sayfalarınızda reklamların bulunmasını istediğinizi, ancak bu sayfaların Google Arama'da görünmesini istemediğinizi düşünelim. Burada, Googlebot'u engelleyebilir, Mediapartners-Google kullanıcı aracısına aşağıda gösterildiği şekilde izin verebilirsiniz:
User-agent: Googlebot
Disallow: /
User-agent: Mediapartners-Google
Disallow:
Robots meta etiketlerindeki kullanıcı aracıları
Bazı sayfalar, farklı tarayıcılara ilişkin yönergeleri belirtmek için birden çok robots meta etiketi kullanır. Örneğin:
<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">
Bu durumda, Google negatif yönergelerin toplamını kullanır ve Googlebot hem noindex hem de nofollow yönergelerini izler. Google'ın sitenizi nasıl tarayacağını ve dizine ekleyeceğini kontrol etme hakkında daha ayrıntılı bilgi edinin.