罗博托先生 Roboto先生旨在处理和解析网站的robots.txt文件,从而提供了一个简单的界面来验证是否允许使用特定路径。 Mr-Roboto尚未准备好生产,因此不应在任何关键任务代码库中使用。