Robots.txt dosyası yazmak için hızlı bir kılavuz

Arama motoru örümceği ile iletişim kurmanın tek yolu veya paletliadlı bir dosya aracılığıyla Robots.txt. Ya da daha iyisi. Web sitesi teklifinizi Google'a gönderdiğinizde, tek kelimeyle devasa miktarda bilgi ile karşı karşıya kalırsınız.

İhtiyacınız olan her şeyi asla bulamayacağınızı düşündüğünüz kadar büyük bir ders kitabına nasıl danışırsınız? sen danış ipucu. Peki: robots.txt dosyası web sitenizin dizini.

Bu, arama motoru tarayıcısına ne arayacağını söyleyen, doldurulması kolay bir belgedir. Kısacası, sitenizin neyden yapıldığını anlamasına yardımcı olacaksınız, böylece algoritma size yaptığınız işe uygun bir sıralama verebilir.

Herkes bir robots.txt dosyası yazabilir mi?

Kısa cevap evet. Dürüst cevap hayır. Bir robots.txt dosyasının dilbilgisi son derece basit olmasına ve bileşimi birkaç satırdan oluşmasına rağmen, elini nereye koyacağını bilen uzman bir web yöneticisinin özenine güvenmek daha iyidir. Sonuçta, küçük bir hata web sitenizin konumunu tehlikeye atmaya ve dolayısıyla tüm SEO operasyonlarını daha başlamadan durdurmaya yeterlidir.

Başlamadan önce bir şeyi bilin: alan adından sonra /robots.txt yazarak herkes herhangi bir sitenin robots.txt dosyasına başvurabilir. Google'a bile danışabilirsiniz!

Özel bir yazılım indirmeden böyle bir dosya yazabilirsiniz. Aslında, not defterinizi kullanmanız ve tahmin edin ne oldu, .txt formatında kaydetmeniz yeterlidir.

Birlikte bir robots.txt yazalım: başlık

Her zaman mantıklı olduğu için en baştan başlayalım. Dosyanın açılışı veya daha doğrusu başlığı, tamamen örümceğin adına adanmıştır ve önünde her zaman aynı olan küçük bir ifade vardır. Diyelim ki Google tarafından fark edilmek istiyorsunuz. Yani ilk satır şöyle olacaktır:

Kullanıcı aracısı: Googlebot

Bu çok kısa dize, Google'a bundan sonraki her şeyin kesinlikle ilgisini çekeceğini söyler. Bu tür dosyaları okuyan tüm tarayıcıların belgeye bakabilmesini istiyorsanız, basit bir * yerine Googlebot'u kullanın; yıldız işareti.

Artık hangi örümceği, yani KİM'i belirttiğinize göre, belirtmeniz gerekecek ayrıca NE okuması gerekecek.

Her kod satırı, tanımı gereği, makinenin bir eylemine karşılık gelir. Robots.txt dosyasındaki her komutun, makinenin yapmaması gereken şeye karşılık geldiğini söylemeye gerek yok. Ve bu, gerçekten etkili bir tane yazmanıza izin veren anahtardır. DISALLOW komutundan bahsediyoruz.

DISALLOW komutu nedir?

Il komuta izin verme dışlayarak akıl yürütmenize izin verir. Başka bir deyişle, ilk önce ne yapılmaması gerektiğini söylemenin söylendiği zaman, dışlayarak akıl yürütüyorsunuz. İzin vermemeye ek olarak, bloğun istisnası olan izin verme de vardır.

İyi bir robots dosyası yazmak istiyorsanız, tam tersini düşünmeniz gerekecek, dolayısıyla Google'a neyi okumaması gerektiğini söylemeniz gerekecek. Eğer yazarsanız:

Disallow:

Örümcek tüm sitenizi herhangi bir fren olmadan okuyacaktır.

“Disallow:”dan sonra eğik çizgi eklerseniz (dolayısıyla Disallow: /), site arama motorlarına girilmez, nokta.

İzin verme: /dizinler/

Sözcük dizinini, örümcek görünümünden reddedilmesini istediğiniz klasörle değiştirin. Aynısını belirli bir dosyayla da yapabilirsiniz.

İzin verme: /dosyam.html

DİKKAT noktalama işaretleri ve harfler, büyük veya küçük harf. Bu dosya türü, bu tür "önemsiz şeyleri" büyük önem taşır, ancak büyük bir fark yaratırlar.

Google'ın sitenizin büyük bir bölümünü okumasını neden engelleyesiniz? Bu tür bir dosya yazdığınızda, hangi dosyaların arama motorunda görünmemesi gerektiğini, ancak onları kötüye kullanmadan anlamak önemlidir. Ancak, o dosyanın tam adresini bilen herkesin her durumda ona erişebileceğini bilin.

ALLOW komutu nedir?

Dosyada, komutla bir istisna ekleyebilirsiniz. İZİN VERMEK. Dilbilgisi aynıdır, ancak ÖRÜMCEK için ilginç keşif marjlarının açılmasına izin verecek olan REDDETMEK için bazı istisnalar yaratacaktır.

Küçük bir örnek dosya:

Kullanıcı aracısı: Googlebot

İzin verme: /resimler/

İzin ver: /images/holidays.jpg

Temel olarak, Googlebot'a, içindeki belirli bir fotoğraf, yani tatilden bir fotoğraf dışında, resim klasörünü dikkate almamasını söyledik.

Ve işte bu kadar çocuklar. İlk robots.txt dosyamızı yazdık. Elbette, asıl site için yapacaklarımız biraz farklı olabilir ama çok da değil. Şüpheniz varsa, her zaman uzman bir web yöneticisinden tavsiye alın. İlkelerde ustalaşmak ve sitenizin nasıl çalıştığını daha iyi anlamak için, her şeyden önce kendiniz yazmaya çalışmanızı ve kontrol için ona göndermenizi tavsiye ederiz.

robots.txt ve site haritaları arasındaki ilişki nedir?

Site haritası, sitedeki tüm bağlantıları içeren özel eklentiler tarafından oluşturulan bir dosyadır. Örümcek siteye girdiğinde önce robotları okur sonra siteyi tarar. Tarama sırasında robot site haritası adresini bulursa, tüm süreç çok daha kolay olacaktır.

Yukarıdaki koda şunu ekleyin:

Site haritası: http://www.ilnomedeltuositobellissimo.com/sitemap.xml

Sonuç olarak;

Tüm robot dosyaları aynıdır. Bu, Google için yazılan bir Robots dosyasının Bing için de gayet iyi çalışacağı ve aynı grameri izleyeceği anlamına gelir.

İyi organize edilmiş bir robots.txt dosyası şunları yapmanızı sağlar: tarama zamanından tasarruf edin. Cesaretiniz kırılmasın: bu başarıya giden ilk adımdır!