Robot.txt là gì, tạo file robot.txt cho WordPress

Gần đây, bạn tìm hiểu về SEO và thường xuyên được mọi người nhắc đến cụm từ robots.txt. Vậy robots.txt là gì, chúng có ý nghĩa gì đối với quá trình SEO website, Blog, cách tạo chúng như thế nào?.

Nếu bạn đang đi tìm gợi ý lời giải đáp cho những câu hỏi đó thì bài viết này chính là dành cho bạn. Ngay dưới đây, mình sẽ chia sẻ góc nhìn của mình về robot.txt, về cách tạo file robot.txt trong website WordPress.

I. Tệp Robots.txt là gì?

Robots.txt là một file/tệp chứa văn bản được lưu dưới dạng .txt. Trong tệp này, có chứa các tiêu chuẩn cho phép, hoặc không cho phép Robot của các công cụ tìm kiếm cào, thu thập, index những nội dung nào.

Nhờ vào tệp này, mà Robot của công cụ tìm kiếm sẽ biết được nên cào nội dung nào, và nội dung nào không cần thu thập dữ liệu.

Có nghĩa rằng, khi tạo file robots.txt cho website, web blog sẽ giúp những nhà quản trị web chủ động trong việc cho phép hoặc ngăn không cho công cụ tìm kiếm index, hoặc ẩn một phần nào đó khỏi công cụ tìm kiếm.

II. Google làm gì với file robots?

Về cơ bản, File robots.txt được sử dụng để quản lý sự truy cập của con bot công cụ tìm kiếm đối với trang web, và cũng thường được các SEOer sử dụng để ẩn một số phần của trang web khỏi Google.

III. Tại sao cần tạo file robots.txt khi SEO Website, Blog?

Có nhiều lý do để tạo tệp robots.txt cho website, hay Blog cá nhân. Đặc biệt, nếu bạn đang muốn nhắm đến SEO để thứ hạng từ khóa, thứ hạng website được nâng cao ở công cụ tìm kiếm. Dưới đây là vài lý do nổi bật nhất.

• Nhờ vào việc tạo file robots.txt cho website, bạn sẽ giữ được một số phần, một số nội dung của trang được ở chế độ riêng tư. Chẳng hạn như phần link thông tin đăng nhập thành viên.
• Bạn cũng có thể ngăn công cụ tìm kiếm index nội số loại tệp, chẳng hạn như PDF, video, hình ảnh,…
• Giúp con bot của công cụ tìm kiếm thu thập những trang quan trọng trong website của bạn, hạn chế thời gian lãng phí vào những trang mà bạn muốn ẩn, không muốn SEO.
• Lưu ý nhỏ: Nếu bạn muốn cho nội dung nào đó trên trang không index, bạn nên sử dụng thuộc tính noindex cho nội dung đó. Vì nếu bạn ngăn chặn bằng tệp robots.txt không có nghĩa rằng nội dung đó không được lập chỉ mục (index).
• Robots.txt giúp bạn chỉ định vị trí của sitemap. Khi tạo tệp Robots.txt, bạn có thể thêm sitemap (sơ đồ trang web) vào. Điều này có thể giúp cho các công cụ tìm kiếm như, Big, Google,.., dễ dàng tìm được sơ đồ trang web XML của bạn nằm ở vị trí nào.

IV. Những hạn chế của việc sử dụng robots.txt

Việc tạo tệp robots.txt trong quá trình SEO website, blog vẫn được đa số các SEOer kỳ cựu khuyên làm. Tuy nhiên, không vì thế, mà nó không có những hạn chế. Dưới đây là một vài điểm trừ của nó.

Một số công cụ có thể không hỗ trợ các lệnh trong tệp robots.txt. Vì thế, nếu bạn đang muốn nhắm đến công cụ tìm kiếm cụ thể nào thì bạn có thể tìm hiểu sâu hơn về các lệnh này.

Mỗi công cụ tìm kiếm đều có thuật toán, và cơ chế của riêng họ. Nên đôi khi file robots.txt có thể sẽ không có ích đối với tất cả các công cụ tìm kiếm.

Nếu bạn đang muốn ngăn chặn một phần hoặc một bài đăng nào đó khỏi các công cụ tìm kiếm thì bạn có thể sử dụng lệnh Noindex để chắc chắn nhé. Bởi không phải bạn chặn một số trang bằng tệp robots.txt là các công cụ tìm kiếm sẽ không index chúng. Như mình đã giải thích ở trên, mỗi công cụ tìm kiếm đều có cơ chế, cách thu thập, sắp xếp thông tin bằng những lệnh, thuật toán khác nhau.

V. Làm thế nào để biết được website đã có file robots.txt hay chưa?

Có phải khi đọc đến đây, bạn đang cảm thấy hoang mang, đặc biệt là những bạn mới học seo tại nhà: Ô, hiệu website, blog cá nhân của mình đã có robots.txt hay chưa?. Kiểm tra điều đó bằng cách nào đây?.

Dưới đây là gợi ý cách kiểm tra xem website đã có tệp robots.txt hay chưa dành cho bạn.

• Bạn có thể sử dụng một số công cụ online để hỗ trợ bạn check này này. Bạn gõ tìm “công cụ online kiểm tra robots.txt”, hoặc một từ khóa gần giống vậy.
• Bạn có thể kiểm tra bằng cú pháp sau trên thanh công cụ tìm kiếm: domain/robots.txt và nhấn nhấn Enter. Trong chốc lát, kết quả sẽ hiển thị ra cho bạn.

Ví dụ, mình tự kiểm tra site Tôi Thích Blog bằng cách nhập dòng chữ: toithichblog.com/robots.txt và ấn Enter. Vì mình đã tạo rồi nên khi này, kết quả sẽ hiện ra. Rất đơn giản đúng không, bây giờ bạn hãy thử tự kiểm tra xem website, blog cá nhân của bạn đã có file robots.txt hay chưa nhé.

VI. Cách tạo file robots.txt WordPress dễ dàng

Có rất nhiều cách để tạo robots.txt cho website Tuy nhiên, mình chỉ chia sẻ đến bạn cách mà mình thường dùng nhất. Bạn có thể sử dụng plugin Yoast SEO hoặc Rank Math đều được nhé.

Để tạo file robot.txt cho website trên nền tảng WordPress, trước hết, bạn cần kiểm tra lại website của bạn đã cài Plugin Yoast SEO hay Rank Math hay chưa. Nếu bạn chưa cài thì cài nhé. Còn nếu bạn đã cài rồi thì dưới đây là các bước tạo file robots.txt dễ dàng, dễ áp dụng.

4.1. Cách tạo file robot.txt cho website WordPress với Yoast SEO

Bạn có thể chỉnh sửa hoặc tạo file robots.txt cho WordPress trên chính WordPress Dashboard với vài bước đơn giản. Đăng nhập vào website của bạn, khi đăng nhập vào bạn sẽ thấy giao diện của trang Dashboard.

 Tại phần Dashboard WordPress, bạn nhìn sang menu ở bên trái, và chọn:

• Ấn chọn SEO,
• Chọn Tool (công cụ),
• Và chọn File editor (trình chỉnh sửa tập tin).

Khi bạn nhấp vào File editor, bạn sẽ hiển thị ra mục robots.txt và .htaccess file. Khi này, bạn tiếp tục nhấn Lưu thay đổi vào robots.txt để hoàn tất quá trình tạo file. Sau đó, bạn quan sát lại sẽ thấy file robots.txt đã tự động được tạo, khi này bạn có thể thêm, hoặc chỉnh sửa robots.txt.

Như vậy, ở bài viết này, mình đã chia sẻ đến bạn robot.txt là gì, tầm quan trọng của tệp robot.txt đối với SEO website. Nếu bạn có những góc nhìn khác thì có thể chia sẻ với mọi người cùng được biết đến bằng cách để lại bình luận ở dưới bài viết này nhé. Và đừng quên ghé thăm Tôi Thích Blog thường xuyên để đọc những chia sẻ từ mình về viết lách, về SEO, về cách xây dựng và phát triển Blog chuyên nghiệp.

Ghi chú tài liệu tham khảo được sử dụng trong bài viết này:  mình tham khảo một số thông tin từ bài viết The ultimate guide to robots.txt và Giới thiệu về robots.txt.