File robots.txt chuẩn cho WordPress và Blogspot

Việc tối ưu hóa trang web luôn là vấn đề quan trọng đối với tất cả các webmaster hay SEOer. Bởi vì nó chiếm một vị trí thật sự rất quan trọng đối với website của bạn. File robots.txt là gì? Nó có quan trọng với website của bạn? Và tại sao chúng ta lại cần phải tối ưu nó? Nó có liên quan đến SEO không?

File robots.txt là gì?

Không có gì đặc biệt cả và mình cũng chẳng biết phải định nghĩa nó như thế nào nữa@@@@. File robots.txt chỉ là một file bên trong có chứa một vài dòng lệnh ngắn ngủn à 🙂

Vậy File robots.txt có liên quan đến SEO? Câu trả lời cũng ngắn không hề kém đó chính là CÓ. Tại sao nó lại liên quan nhỉ? Bởi vì File Robots.txt là file dùng để điều hướng bọ tìm kiếm. Nó có thể dẫn đường cho bọ tìm kiếm đi và thu thập dữ liệu đúng theo ý muốn của bạn.

Bạn muốn trang này được index – Ờ thì bạn sẽ dùng đến Allow. Bạn không muốn index trang này – Ờ thì bạn lại dùng đến cái này: Disallow.

Như vậy thì chắc chắn là nó sẽ quan trọng với website của bạn rồi nhỉ :vvv, Ok dưới đây sẽ là hai mẫu File Robots.txt được nhiều người sử dụng nhất trên hai nền tảng WordPress và Blogspot, các bạn cùng tham khảo nhé!

Đối với WordPress

User-agent: * 
Disallow: /cgi-bin 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-content/plugins 
Disallow: /wp-content/cache 
Disallow: /wp-content/themes 
Disallow: /feed 
Disallow: /*/feed 
Disallow: /comments 
Disallow: /author 
Disallow: /archives 
Sitemap: http://apps.doiguocmoc.com/sitemap_index.xml

Đối với Blogspot

User-agent: Mediapartners-Google
Disallow: 
User-agent: *
Allow: /
Disallow: /search
Disallow: /*?updated-max=*
Disallow: *archive.html 
Sitemap: http://apps.doiguocmoc.com/feeds/posts/default?orderby=UPDATED

Các bạn nhớ đổi doiguocmoc.com thành tên miền của bạn nhé!