導(dǎo)讀 大家好,小物來(lái)為大家解答以上的問(wèn)題。什么是robots.txt文件(robots.txt有什么用)這個(gè)很多人還不知道,現(xiàn)在讓我們一起來(lái)看看吧!robots協(xié)議(...
大家好,小物來(lái)為大家解答以上的問(wèn)題。什么是robots.txt文件(robots.txt有什么用)這個(gè)很多人還不知道,現(xiàn)在讓我們一起來(lái)看看吧!
robots協(xié)議(也稱為爬蟲協(xié)議、爬蟲規(guī)則、機(jī)器人協(xié)議 等)也就是robots.txt,網(wǎng)站通過(guò)robots協(xié)議告訴搜索 引擎哪些頁(yè)面可以抓取,哪些頁(yè)面不希望被抓取。
1. 有什么作用
2. 一個(gè)網(wǎng)站為什么要寫robots.txt
3. 淘寶的robots.txt
4. 淘寶的robots.txt
5. 京東的robots.txt
6. Robots.txt放置位置
7. Robots.txt文件的寫法
本文到此分享完畢,希望對(duì)大家有所幫助。
標(biāo)簽:
免責(zé)聲明:本文由用戶上傳,如有侵權(quán)請(qǐng)聯(lián)系刪除!