首頁(yè)robots.txt協(xié)議文件

robots協(xié)議，有很多網(wǎng)站沒(méi)有制作，而蜘蛛來(lái)到網(wǎng)站第一個(gè)看的文件就是robots文件，一些不需要被抓取的頁(yè)面我們可以在robots.txt中填寫(xiě)，避免了蜘蛛抓取了過(guò)多的無(wú)用頁(yè)面而影響網(wǎng)站集權(quán)。