西西4444WWW大胆无视频,国产麻豆精品久久一二三,免费黄色视频网站,色AV 性AV 丰满AV国產

如何制作網(wǎng)站地圖并規(guī)范robots協(xié)議內(nèi)容

2020-04-05 11:34:07 編輯:永諾網(wǎng)絡(luò) 來源:本站原創(chuàng)
   網(wǎng)站地圖的制作在seo優(yōu)化中也是占據(jù)很重要一部分的,網(wǎng)站地圖制作好了可以更加有利于蜘蛛對我們網(wǎng)站信息的檢索與抓取,他會對網(wǎng)頁信息進(jìn)行方向引導(dǎo),給搜索引擎蜘蛛的爬行提供一個路徑,快速準(zhǔn)確的抓取網(wǎng)站內(nèi)容。
如何制作網(wǎng)站地圖并規(guī)范robots協(xié)議內(nèi)容
   我們可以利用小爬蟲工具、愛站工具等來生成網(wǎng)站地圖。我們首先打開愛站工具包,選擇網(wǎng)站地圖,然后左側(cè)選擇添加網(wǎng)站,將網(wǎng)址輸入后選擇xml選項,將里面的頂部的所有文件選項勾選之后點擊抓爬,完成后生成xml文件,最后將生成之后的sitemap后綴為html、xml、txt的文件上傳到網(wǎng)站后臺的根目錄中即可。這樣,只要有用戶進(jìn)入就會抓取了。
   robots協(xié)議又是什么?該如何書寫它呢?robot協(xié)議就是給搜索引擎蜘蛛的一個規(guī)定,我們利用這個文件來限制搜索引擎的抓取范圍,尊重信息提供者意愿并維護(hù)其隱私權(quán),保護(hù)我們的隱私不被搜索引擎抓取的一份內(nèi)容。這個有我們自己進(jìn)行編輯規(guī)定。
   robots協(xié)議的編輯會用到三個標(biāo)簽:1、User-agent: 蜘蛛名稱(這里個User-agent 指定搜索引擎蜘蛛名稱)2、Disallow: 內(nèi)容名稱(代表要禁止抓取的內(nèi)容)3、Allow:內(nèi)容名稱(代表允許抓取的內(nèi)容)。這些標(biāo)簽后書寫的就是協(xié)議的內(nèi)容,還會用到3個通配符來編輯:"*"表示涵蓋所有搜索引擎;"$"表示以某字符串結(jié)尾;"/"表示當(dāng)前目錄下的所有內(nèi)容。當(dāng)編輯完協(xié)議內(nèi)容后可在最后添加“Sitemap:網(wǎng)站域名/sitemap.xml”,用地圖讓蜘蛛更快速的抵達(dá)我們的網(wǎng)站。
   SEO的日常工作比較細(xì)致,查看我們網(wǎng)站的日志也是需要關(guān)注的。從網(wǎng)站后臺空間找到文件管理,然后打開logs文件,將最新的日志文件載到桌面,然后使用光年日志分析系統(tǒng)等工具對其進(jìn)行分析,可以看到蜘蛛爬行過的記錄以及一些問題,需要及時查看并解決掉。
本站文章均為永諾網(wǎng)站建設(shè)摘自權(quán)威資料,書籍,或網(wǎng)絡(luò)原創(chuàng)文章,如有版權(quán)糾紛或者違規(guī)問題,請即刻聯(lián)系我們刪除,我們歡迎您分享,引用和轉(zhuǎn)載,我們謝絕直接復(fù)制和抄襲!感謝...
我們猜你喜歡
国产日韩精品一区二区 | 无码精品一区二区三区四区爱奇艺 | 色婷婷一区二区三区久久午夜成人 | 无码又爽又黄又刺激A片文章 | 日韩av在线观看三级片 | 又粗又大农村妇女A片 | 国产乱国产乱300精品 | 国产乱人妻精品秘 入口 | 免费黃色三級片在线观看 | AV免费观看网站 | 91极品人妻国产综合韩国 | www视频在线观看 | 西西4444www无码精品 | 久久久无码喷水日本动漫一区二区 | 好想要做爰XXXⅩa高潮 | XYX性爽欧美视频在线观看 | 国产一级av免费观看 | 蜜乳av蜜汁人妻中文字幕 | 91人妻人人爽人人精品 | 久久久久成人精品无码 | 亚洲一级 片内射无码 | 婷婷五月综合激情 | 亚洲无码免费观看视频 | 羞羞视频在线观看免费 | 国产一级a毛一级a | 亚洲无马黑料在线观看 | 免费在线观看污视频网站 | 久久久久免费毛A片免费一瓶梅 | 国产乱码一区二区三区的区别 | 拔丝袜午夜网址免费观看 | 性中国毛片 潮喷 亚洲成人一区二区三区 | 人妻熟女视频影音先锋 | y1111111丰满少妇毛片 | 国产乱婬片A片AAAAPp地址 | 欧美一级黃色A片韩国 | 韩国一级婬片A片在线观看 久久精品www人人爽人人 | 狠狠躁夜夜躁人人爽蜜桃 | 人妻少妇91精品一区黑人 | 开心婷婷五月色蜜桃在线 | 蜜桃视频在线观看免费 | 国产女人喷水视频在线观看 |