Những crawler AI nào có thể truy cập trang web của bạn?

Đó là trình khách tự động do một công ty AI vận hành. Một số thu thập nội dung để huấn luyện mô hình (ví dụ GPTBot hoặc ClaudeBot), một số xây dựng chỉ mục tìm kiếm cho câu trả lời AI (ví dụ OAI-SearchBot, Claude-SearchBot hoặc PerplexityBot), và một số chỉ tải trang khi người dùng yêu cầu (ví dụ ChatGPT-User hoặc Claude-User).

Tùy vào mục tiêu của bạn. Nếu muốn được trích dẫn trong câu trả lời AI, hãy cho phép các tác nhân tìm kiếm và tác nhân theo yêu cầu người dùng. Việc chặn crawler huấn luyện là một quyết định kinh doanh riêng; các nhà vận hành như OpenAI, Anthropic và Google công bố các token riêng biệt để bạn lựa chọn.

Thêm một nhóm cho mỗi token huấn luyện, ví dụ "User-agent: GPTBot" và tiếp theo là "Disallow: /". Google cho biết token Google-Extended kiểm soát việc dùng dữ liệu cho huấn luyện và grounding của Gemini, và không ảnh hưởng đến thứ hạng trên Google Search.

Không. robots.txt là tiêu chuẩn tự nguyện. Các nhà vận hành được liệt kê ở đây cho biết họ tuân thủ, nhưng đây không phải cơ chế kiểm soát truy cập; hãy dùng xác thực hoặc quy tắc tường lửa cho nội dung cần giữ riêng tư.

Có. Bạn có thể dùng miễn phí mà không cần tài khoản, với giới hạn hằng ngày khá rộng rãi để ngăn lạm dụng.