[问答题,简答题] 你怎样使用robots.txt？

你怎么分析一个网页作为一个网站的一部分的权重？ （）奥黛丽·赫本最喜欢哪个国家？ ["英国","美国","法国","瑞士"] （）奥黛丽·赫本是什么血型的？ ["A型","B型","O型","AB型"] 什么因素影响搜索引擎抓取一个网站？ （）奥黛丽·赫本病逝于哪年1月20日？ ["1991","1992","1993","1994"] 你怎样使用robots.txt？