Từ điển thuật ngữ

1 thuật ngữ

• Robots.txt là gì?

  Robots.txt là một file văn bản nằm ở thư mục gốc của website, dùng để hướng dẫn các bot của công cụ tìm kiếm như Googlebot, Bingbot… biết khu vực nào trên website được phép hoặc không được phép crawl. Ví dụ, file robots.txt thường có địa chỉ: Nói đơn giản, robots.txt giống như một biển chỉ dẫn