2. 讨论
  3. 为什么搜索引擎会索引到 /index.php/user- 、 /index.php/list- 这样的页面

为什么搜索引擎会索引到 /index.php/user- 、 /index.php/list- 这样的页面求助

ricewell2020-6-18 252

66.249.71.127 - - [18/Jun/2020:15:03:29 +0800] "GET /index.php/user-287.html HTTP/1.1" 200 1117 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.92 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"


66.249.71.96 - - [18/Jun/2020:15:04:08 +0800] "GET /index.php/list-22-8.html HTTP/1.1" 200 4946 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.92 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"


66.249.71.127 - - [18/Jun/2020:15:04:40 +0800] "GET /index.php/list-22-7.html HTTP/1.1" 200 5021 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.92 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

 

最新回复(5)
  • 燃烧的冰2020-6-18
    2楼
    不会收录这样的链接，只是按照一些常规逻辑爬数据而已。
  • well2020-6-18
    3楼
    为什么会有/index.php/ ，刚试了下，域名/index.php/user-  还能访问只是没有样式
  • 燃烧的冰2020-6-18
    4楼
    因为thinkphp这类的框架，都有这样的访问路径，习惯性爬取规则而已，不必在意
  • ricewell2020-6-18
    5楼
    这种页面确实都有数据，暂时屏蔽抓取了
  • lovemuou2020-6-18
    6楼
    老域名会有残留外链，搜索引擎也会重新爬过去记录
返回
发新帖