Bạn muốn một trang không xuất hiện trên Google nên thêm đường dẫn vào robots.txt. Cách này có thể không đạt mục tiêu như dự kiến. Robots.txt và noindex tác động ở hai bước khác nhau. Trước khi chỉnh, cần nói rõ bạn muốn giảm truy cập của robot, ngăn trang được lập chỉ mục hay thực sự bảo vệ nội dung riêng tư.
Robots.txt hướng dẫn việc thu thập
Robots.txt đưa ra quy tắc cho các trình thu thập tuân thủ nó về đường dẫn được hoặc không được đọc. Tài liệu robots.txt của Google lưu ý một URL bị chặn vẫn có thể xuất hiện trong kết quả nếu được biết đến từ nguồn khác. Vì vậy, không nên dùng nó như cách chắc chắn xóa URL khỏi tìm kiếm.
Với WordPress, cần xác định tệp đang được phục vụ từ cấu hình nào trước khi sửa. Một quy tắc phạm vi rộng có thể chặn cả nội dung quan trọng hoặc tài nguyên cần để hiển thị trang. Lưu bản hiện tại và kiểm tra đúng tên miền, vì môi trường thử và website thật có thể dùng thiết lập khác nhau.
Noindex yêu cầu không lập chỉ mục
Noindex có thể được cung cấp qua thẻ meta hoặc HTTP header. Theo hướng dẫn noindex của Google, công cụ thu thập phải truy cập được tài nguyên để đọc quy tắc này. Chặn bằng robots.txt rồi trông chờ noindex trên cùng trang có thể khiến quy tắc không được nhìn thấy.
Trong WordPress, plugin hoặc cài đặt website có thể tạo quy tắc thay bạn. Cần kiểm tra HTML hoặc header thực tế, không chỉ trạng thái của một nút bật tắt. Không thêm noindex vào robots.txt rồi coi như đã thực hiện đúng, vì Google không hỗ trợ cách khai báo đó.
Chọn giải pháp theo mục đích
Trang chứa tài liệu nội bộ cần xác thực và quyền truy cập phù hợp, không chỉ robots.txt hoặc noindex. Một trang cảm ơn công khai nhưng không cần xuất hiện trên tìm kiếm có mục tiêu khác với một khu vực dữ liệu riêng tư. Với nội dung đã có trên Google, thay đổi cũng cần thời gian được thu thập và xử lý lại.
Trước khi chỉnh hàng loạt, lập danh sách URL, mục đích và quy tắc mong muốn. Sau thay đổi, kiểm tra cả trang cần ẩn lẫn trang cần tiếp tục được tìm thấy. Nếu đang phân vân giữa các thiết lập, hãy trao đổi với Tý Hon về từng nhóm trang thay vì áp dụng một quy tắc chặn cho toàn website.
