Không, một người máy. tệp txt không bắt buộc đối với trang web. Nếu một bot đến trang web của bạn và nó không có, nó sẽ chỉ thu thập dữ liệu trang web của bạn và lập chỉ mục các trang như bình thường. … Tệp txt chỉ cần thiết nếu bạn muốn kiểm soát nhiều hơn những gì đang được thu thập thông tin.
Điều gì xảy ra nếu bạn không có tệp txt rô bốt?
người máy. txt là hoàn toàn tùy chọn. Nếu bạn có, các trình thu thập thông tin tuân thủ tiêu chuẩn sẽ tôn trọng điều đó, nếu bạn không có, mọi thứ không được phép trong các phần tử HTML-META (Wikipedia) đều có thể thu thập thông tin được. Trang web sẽ được lập chỉ mục mà không có giới hạn.
Tôi có thể xóa txt rô bốt không?
Bạn cần xóa cả hai dòng khỏi rô bốt của mình. tệp txt. Tệp rô bốt nằm trong thư mục gốc của thư mục lưu trữ web của bạn, tệp này thường có thể được tìm thấy trong / public_html / và bạn có thể chỉnh sửa hoặc xóa tệp này bằng: FTP bằng ứng dụng FTP như FileZilla hoặc WinSCP.
Txt rô bốt có an toàn không?
Người máy. Bản thân tệp txt không phải là một mối đe dọa bảo mậtvà việc sử dụng đúng cách có thể thể hiện thông lệ tốt vì những lý do không liên quan đến bảo mật. Bạn không nên cho rằng tất cả rô bốt web sẽ tuân theo các hướng dẫn của tệp.
Tại sao txt của rô bốt không tốt?
Chỉ cần thêm danh sách các URL dành riêng cho rô bốt. tệp txt là một trong những cách tồi tệ nhất khi cố gắng ẩn URL và trong hầu hết các trường hợp, nó dẫn đến hoàn toàn ngược lại với kết quả dự định.
