Việc tối ưu hóa trang web luôn là vấn đề quan trọng đối với tất cả các webmaster hay SEOer. Bởi vì nó chiếm một vị trí thật sự rất quan trọng đối với website của bạn. File robots.txt là gì? Nó có quan trọng với website của bạn? Và tại sao chúng ta lại cần phải tối ưu nó? Nó có liên quan đến SEO không?
 |
File robots.txt là gì?
Không có gì đặc biệt cả và mình cũng chẳng biết phải định nghĩa nó như thế nào nữa. File robots.txt chỉ là một file bên trong có chứa một vài dòng lệnh ngắn ngủn à
Vậy File robots.txt có liên quan đến SEO? Câu trả lời cũng ngắn không hề kém đó chính là CÓ. Tại sao nó lại liên quan nhỉ? Bởi vì File Robots.txt là file dùng để điều hướng bọ tìm kiếm. Nó có thể dẫn đường cho bọ tìm kiếm đi và thu thập dữ liệu đúng theo ý muốn của bạn.
Bạn muốn trang này được index – Ờ thì bạn sẽ dùng đến Allow. Bạn không muốn index trang này – Ờ thì bạn lại dùng đến cái này: Disallow.
Như vậy thì chắc chắn là nó sẽ quan trọng với website của bạn rồi nhỉ :vvv, Ok dưới đây sẽ là hai mẫu File Robots.txt được nhiều người sử dụng nhất trên hai nền tảng WordPress và Blogspot, các bạn cùng tham khảo nhé!
Đối với WordPress
12345678910111213User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed
Disallow: /*/feed
Disallow: /comments
Disallow: /author
Disallow: /archives
Sitemap: https://lenhutphuong.blogspot.com/sitemap_index.xml
Đối với Blogspot
12345678User-agent: Mediapartners-Google
Disallow:
User-agent: *
Allow: /
Disallow: /search
Disallow: /*?updated-max=*
Disallow: *archive.html
Sitemap: https://lenhutphuong.blogspot.com/feeds/posts/default?orderby=UPDATED
Các bạn nhớ đổi https://lenhutphuong.blogspot.com thành tên miền của bạn nhé!
chúc các bạn thành công!
Từ khóa tìm kiếm:
Cách khắc phục lỗi bị robot chặn lập chỉ mục
Site bị robot chặn lập chỉ mục
Mẩu Code robots.txt cho BlogSpot
Mẩu Code robots.txt cho WordPress
Site bị robot chặn lập chỉ mục
Mẩu Code robots.txt cho BlogSpot
Mẩu Code robots.txt cho WordPress
Nguồn: http://doiguocmoc.com
0 Bình Luận
