2022-07-29 搜索和今日头条

前段时间，我产生了一个疑问：为什么用百度搜索，从来没有搜到过今日头条里的文章？

今天，我在使用谷歌搜索，搜到了今日头条的文章。这是使用谷歌搜索第一次搜索到今日头条的内容。搜索词条为：php开源网盘软件。今日头条的结果位于第三条，条目链接地址为：https://m.toutiao.com/i6803987157238153732/。

不过，迄今为止，没有用百度搜到过今日头条的内容。原因可能是今日头条在robots.txt中声明了不允许爬虫。