Google tarayıcılarına genel bakış (kullanıcı aracıları)
Bazen "robot" veya "örümcek" olarak da anılan "tarayıcı", bir web sayfasından diğerine giden bağlantıları izleyerek web sitelerini otomatik olarak keşfedip taramak için kullanılan tüm programlara verilen genel isimdir. Google'ın ana tarayıcısına Googlebot adı verilir. Bu tabloda hem yönlendiren günlüklerinizde görebileceğiniz yaygın kullanılan Google tarayıcılarıyla ilgili bilgiler hem de bunların robots.txt, robots meta etiketleri ve X-Robots-Tag HTTP yönergelerinde nasıl belirtileceği listelenmektedir.
Aşağıdaki tabloda, Google’daki çeşitli ürün ve hizmetler tarafından kullanılan tarayıcılar gösterilmektedir:
- Kullanıcı aracısı jetonu, robots.txt dosyanızdaki User-agent: satırında, siteniz için tarama kuralları yazılırken tarayıcı türüyle eşleştirme yapmak için kullanılır. Bazı tarayıcıların tabloda gösterildiği gibi birden fazla jetonu vardır; bir kuralı uygulamak için yalnızca bir tarayıcı jetonunun eşleşmesi yeterlidir. Bu liste tam olmasa da web sitenizde görebileceğiniz tarayıcıların çoğunu kapsamaktadır.
- Tam kullanıcı aracısı dizesi, tarayıcının tam açıklaması olup hem istekte hem de web günlüklerinizde görünür.Dikkat: Kullanıcı aracısı dizesinde adres sahteciliği olabilir. Bir ziyaretçinin Google tarayıcısı olup olmadığını nasıl doğrulayacağınızı öğrenin.
Tarayıcılar | |
|---|
APIs-Google |
| Kullanıcı aracısı jetonu | APIs-Google | | Tam kullanıcı aracısı dizesi | APIs-Google (+APIs-Google User Agent | Google Search Central | Documentation | Google Developers) |
|
AdSense |
| Kullanıcı aracısı jetonu | Mediapartners-Google | | Tam kullanıcı aracısı dizesi | Mediapartners-Google |
|
AdsBot Mobil Web Android | Android web sayfası reklam kalitesini kontrol eder.
| Kullanıcı aracısı jetonu | AdsBot-Google-Mobile | | Tam kullanıcı aracısı dizesi | Mozilla/5.0 (Linux; Android 5.0; SM-G920A) AppleWebKit (KHTML, like Gecko) Chrome Mobile Safari (compatible; AdsBot-Google-Mobile; +Google Crawler (User Agent) Overview | Google Search Central | Documentation | Google Developers) |
|
AdsBot Mobil Web | iPhone web sayfası reklam kalitesini kontrol eder.
| Kullanıcı aracısı jetonu | AdsBot-Google-Mobile | | Tam kullanıcı aracısı dizesi | Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +Google Crawler (User Agent) Overview | Google Search Central | Documentation | Google Developers) |
|
AdsBot | Masaüstü web sayfası reklam kalitesini kontrol eder.
| Kullanıcı aracısı jetonu | AdsBot-Google | | Tam kullanıcı aracısı dizesi | AdsBot-Google (+Google Crawler (User Agent) Overview | Google Search Central | Documentation | Google Developers) |
|
Googlebot Görsel |
| Kullanıcı aracısı jetonları |
- Googlebot-Image
- Googlebot
| | Tam kullanıcı aracısı dizesi | Googlebot-Image/1.0 |
|
Googlebot Haberler |
| Kullanıcı aracısı jetonları | | | Tam kullanıcı aracısı dizesi | Googlebot-News kullanıcı aracısı dizesi 2011'de kullanımdan kaldırılmıştır. |
|
Googlebot Video |
| Kullanıcı aracısı jetonları |
- Googlebot-Video
- Googlebot
| | Tam kullanıcı aracısı dizesi | Googlebot-Video/1.0 |
|
Googlebot Masaüstü |
| Kullanıcı aracısı jetonu | Googlebot | | Tam kullanıcı aracısı dizeleri |
- Mozilla/5.0 (compatible; Googlebot/2.1; +What Is Googlebot | Google Search Central | Documentation | Google Developers)
- Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +What Is Googlebot | Google Search Central | Documentation | Google Developers) Chrome/W.X.Y.Z Safari/537.36
- Googlebot/2.1 (+What Is Googlebot | Google Search Central | Documentation | Google Developers)
|
|
Googlebot Akıllı Telefon |
| Kullanıcı aracısı jetonu | Googlebot | | Tam kullanıcı aracısı dizesi | Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +What Is Googlebot | Google Search Central | Documentation | Google Developers) |
|
Mobil AdSense |
| Kullanıcı aracısı jetonu | Mediapartners-Google | | Tam kullanıcı aracısı dizesi | (Various mobile device types) (compatible; Mediapartners-Google/2.1; +What Is Googlebot | Google Search Central | Documentation | Google Developers) |
|
Mobil Uygulamalar Android | Android uygulama sayfası reklam kalitesini kontrol eder. AdsBot-Google robots.txt kurallarına uyar.
| Kullanıcı aracısı jetonu | AdsBot-Google-Mobile-Apps | | Tam kullanıcı aracısı dizesi | AdsBot-Google-Mobile-Apps |
|
Feedfetcher | Dikkat: Feedfetcher, robots.txt kurallarına uymaz.
| Kullanıcı aracısı jetonu | FeedFetcher-Google | | Tam kullanıcı aracısı dizesi | FeedFetcher-Google; (+Google Feedfetcher | Google Search Central | Documentation | Google Developers) |
|
Google Read Aloud | Dikkat: Google Read Aloud, robots.txt kurallarına uymaz.
| Kullanıcı aracısı jetonu | Google-Read-Aloud | | Tam kullanıcı aracısı dizeleri | Mevcut aracılar:
- Masaüstü aracısı:
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +Google Crawler (User Agent) Overview | Google Search Central | Documentation | Google Developers)
- Mobil aracısı:
Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +Google Crawler (User Agent) Overview | Google Search Central | Documentation | Google Developers)
Eski aracı (kullanımdan kaldırıldı):
google-speakr |
|
Duplex on the web | Dikkat: Duplex on the web, * joker karakteri yok sayabilir.
| Kullanıcı aracısı jetonu | DuplexWeb-Google | | Tam kullanıcı aracısı dizesi | Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36 |
|
Google Favicon | Dikkat: Google Favicon, kullanıcı tarafından başlatılan istekler için robots.txt kurallarını yok sayar.
| Kullanıcı aracısı jetonu |
- Googlebot-Image
- Googlebot
| | Tam kullanıcı aracısı dizesi | Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon |
|
Web Light | Dikkat: Web Light, robots.txt kurallarına uymaz.
| Kullanıcı aracısı jetonu | googleweblight | | Tam kullanıcı aracısı dizesi | Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19 |
|
Google StoreBot |
| Kullanıcı aracısı jetonu | Storebot-Google | | Tam kullanıcı aracısı dizeleri |
- Masaüstü aracısı:
Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36
- Mobil aracısı:
Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36
|
|
Kullanıcı aracılarındaki Chrome/W.X.Y.Z ile ilgili bir not:
Tablodaki kullanıcı aracısı dizelerinde
Chrome/W.X.Y.Z ifadesini gördüğünüz her yerde,
W.X.Y.Z aslında kullanıcı aracısı tarafından kullanılan Chrome tarayıcının sürümünü temsil eden yer tutucudur: Örneğin, 41.0.2272.96. Googlebot tarafından kullanılan en son Chromium sürümüyle eşleşmesi için bu sürüm numarası zaman içinde artar.
Bu sürüm numarası kalıbına sahip bir kullanıcı aracısı için günlüklerinizde arama yapıyor veya sunucunuzu filtreliyorsanız, sürüm numarasını tam olarak belirtmek yerine joker karakterler kullanın.
Robots.txt dosyasındaki kullanıcı aracıları
Robots.txt dosyasında çeşitli kullanıcı aracıları tanınsa da Google en belirgin olanı izler. Google'ın tüm sayfalarınızı tarayabilmesini istiyorsanız robots.txt dosyasına ihtiyacınız yoktur. Google'ın tarayıcılarının içeriğinizin bir kısmına erişimini engellemek veya buna izin vermek istiyorsanız bunu yapmak için Googlebot'u kullanıcı aracısı olarak belirtebilirsiniz. Örneğin, tüm sayfalarınızın Google Arama'da görünmesini ve AdSense reklamlarının sayfalarınızda görünmesini istiyorsanız robots.txt dosyasına ihtiyacınız yoktur. Benzer bir şekilde, Google'ın bazı sayfalara erişimini toplu olarak engellemek istiyorsanız Googlebot kullanıcı aracısını engellediğinizde, Google'ın diğer tüm kullanıcı aracıları da engellenir.
Ancak, daha hassas bir denetime sahip olmak isterseniz daha kesin davranabilirsiniz. Örneğin, tüm sayfalarınızın Google Arama'da görünmesini istiyor, ancak kişisel dizininizdeki resimlerin taranmasını istemiyor olabilirsiniz. Bu durumda, Googlebot-Image kullanıcı aracısının kişisel dizininizdeki dosyaları taramaması (ancak Googlebot'un diğer tüm dosyaları taramasına izin vermek) için robots.txt kullanın. Örneğin:
User-agent: Googlebot
Disallow:
User-agent: Googlebot-Image
Disallow: /personal
Başka bir örneği ele alırsak tüm sayfalarınızda reklamların bulunmasını istediğinizi, ancak bu sayfaların Google Arama'da görünmesini istemediğinizi düşünelim. Burada, Googlebot'u engelleyebilir, Mediapartners-Google kullanıcı aracısına aşağıda gösterildiği şekilde izin verebilirsiniz:
User-agent: Googlebot
Disallow: /
User-agent: Mediapartners-Google
Disallow:
Robots meta etiketlerindeki kullanıcı aracıları
Bazı sayfalar, farklı tarayıcılara ilişkin yönergeleri belirtmek için birden çok robots meta etiketi kullanır. Örneğin:
<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">
Bu durumda, Google negatif yönergelerin toplamını kullanır ve Googlebot hem noindex hem de nofollow yönergelerini izler. Google'ın sitenizi nasıl tarayacağını ve dizine ekleyeceğini kontrol etme hakkında daha ayrıntılı bilgi edinin.
