欧洲影院|每日吃瓜播报|亚洲最大的网站|永久免费视频SS|五号房2021韩小薇回放|精品一区二区国产偷窥在线桃色|成人乱人乱一区二区三区软件|亚洲精华国产精华精华液好用吗

服務(wù)熱線/微信:13911029888 QQ咨詢:5397942 歡迎光臨北京卓立海創(chuàng)信息技術(shù)有限公司官網(wǎng)!

SEO:網(wǎng)站的robots文件設(shè)置時(shí)應(yīng)注意哪些問題?

發(fā)布時(shí)間:2023-04-25 09:59:23 人氣:258 來源:卓立海創(chuàng)

       SEO:網(wǎng)站的robots文件設(shè)置時(shí)應(yīng)注意哪些問題?在網(wǎng)站優(yōu)化工作當(dāng)中,robots文件的設(shè)置是占據(jù)很重要的位置的。robots文件屬于網(wǎng)站跟爬蟲間的協(xié)議,也就是說你的網(wǎng)站那些內(nèi)容想被爬取,哪些內(nèi)容不想被爬取都是通過robots文件來告訴蜘蛛的。網(wǎng)站robots文件設(shè)置的合適與否會(huì)直接你的網(wǎng)站能夠順利被收錄,網(wǎng)站的robots文件設(shè)置時(shí)應(yīng)注意哪些問題?

       1、文件后綴及大小寫。

       robots文件的后綴必須是.txt;robots文件必須全小寫字母命名;在寫robots文件的時(shí)候,Disallow、Allow、Sitemap等詞首字母必須大寫,后面的字母則要小寫。

       2、robots文件放在哪?

       robots.txt應(yīng)放置于網(wǎng)站的根目錄下。如果想單獨(dú)定義搜索引擎的漫游器訪問子目錄時(shí)的行為,那么可以將自定的設(shè)置合并到根目錄下的robots.txt,或者使用robots元數(shù)據(jù)。

SEO:網(wǎng)站的robots文件設(shè)置時(shí)應(yīng)注意哪些問題?

       SEO:網(wǎng)站的robots文件設(shè)置時(shí)應(yīng)注意哪些問題?

       3、注意空格。

       特別注意,在書寫robots事,應(yīng)用英文狀態(tài)下的冒號(hào),并且冒號(hào)后面必須有一個(gè)英文狀態(tài)下的空格。

       4、都需要抓取是否就不用設(shè)置?

       有的站長(zhǎng)可能覺得如果網(wǎng)站所有文件都需要蜘蛛抓取,那就沒必要添加robots文件,因?yàn)槿绻@個(gè)文件不存在,那蜘蛛也將默認(rèn)訪問網(wǎng)站上所有沒有被口令保護(hù)的頁(yè)面。這里要注意一種情況,如果用戶試圖訪問一個(gè)不存在的url,服務(wù)器就會(huì)在日志中記錄404錯(cuò)誤。當(dāng)蜘蛛來尋找不存在的robots文件時(shí),服務(wù)器也將在日志中記錄一條404錯(cuò)誤,所以網(wǎng)站應(yīng)該都要設(shè)置robots文件。

       5、為了增加網(wǎng)站收錄率robots文件中設(shè)置所有文件都能被抓取可以嗎?

       不可以。因?yàn)榫W(wǎng)站中的程序腳本、樣式表等文件即使被蜘蛛收錄,也不會(huì)增加網(wǎng)站的收錄率,還只會(huì)浪費(fèi)服務(wù)器資源。因此必須在robots.txt文件里設(shè)置不要讓搜索蜘蛛索引這些文件。

       配置網(wǎng)站robots.txt是SEO的基礎(chǔ)操作,如何更好的引導(dǎo)蜘蛛抓取需要在不斷的實(shí)踐中調(diào)整,這樣就可以達(dá)到網(wǎng)站抓取資源分配更優(yōu)化。關(guān)于“SEO:網(wǎng)站的robots文件設(shè)置時(shí)應(yīng)注意哪些問題? ”就為您介紹到這里了,希望可以幫到您。


熱文推薦