1、簡(jiǎn)單明了的網(wǎng)站結(jié)構(gòu)
Spider抓取相當(dāng)于對(duì)web這個(gè)有向圖進(jìn)行遍歷，那么一個(gè)簡(jiǎn)單明了結(jié)構(gòu)層次分明的網(wǎng)站肯定是它所喜歡的，并盡量保證spider的可讀性。
（1）樹(shù)型結(jié)構(gòu)最優(yōu)的結(jié)構(gòu)即“首頁(yè)—頻道—詳情頁(yè)”；
（2）扁平首頁(yè)到詳情頁(yè)的層次盡量少，既對(duì)抓取友好又可以很好的傳遞權(quán)重。
（3）網(wǎng)狀保證每個(gè)頁(yè)面都至少有一個(gè)文本鏈接指向，可以使網(wǎng)站盡可能全面的被抓取收錄，內(nèi)鏈建設(shè)同樣對(duì)排序能夠產(chǎn)生積極作用
（4）導(dǎo)航為每個(gè)頁(yè)面加一個(gè)導(dǎo)航方便用戶知曉所在路徑。
（5）子域與目錄的選擇相信有大批的站長(zhǎng)對(duì)此有疑問(wèn)，在我們看來(lái)，當(dāng)內(nèi)容較少并且內(nèi)容相關(guān)度較高時(shí)建議以目錄形式來(lái)實(shí)現(xiàn)，有利于權(quán)重的繼承與收斂；當(dāng)內(nèi) 容量較多并且與主站相關(guān)度略差時(shí)建議再以子域的形式來(lái)實(shí)現(xiàn)。
2、簡(jiǎn)潔美觀的url規(guī)則
（1）唯一性網(wǎng)站中同一內(nèi)容頁(yè)只與唯一一個(gè)url相對(duì)應(yīng)，過(guò)多形式的url將分散該頁(yè)面的權(quán)重，并且目標(biāo)url在系統(tǒng)中有被濾重的風(fēng)險(xiǎn)；
（2）簡(jiǎn)潔性動(dòng)態(tài)參數(shù)盡量少，保證url盡量短；
（3）美觀性使得用戶及機(jī)器能夠通過(guò)url即可判斷出頁(yè)面內(nèi)容的主旨；
我們推薦如下形式的url：url盡量短且易讀使得用戶能夠快速理解，例如使用拼音作為目錄名稱；同一內(nèi)容在系統(tǒng)中只產(chǎn)生唯一的url與之對(duì)應(yīng)，去掉無(wú)意 義的參數(shù)；如果無(wú)法保證url的唯一性，盡量使不同形式的url301到目標(biāo)url；防止用戶輸錯(cuò)的備用域名301至主域名。
3、其他注意事項(xiàng)
（1）不要忽略倒霉的robots文件，默認(rèn)情況下部分系統(tǒng)robots是封禁搜索引擎抓取的，當(dāng)網(wǎng)站建立后及時(shí)查看并書(shū)寫(xiě)合適的robots文件，網(wǎng)站日常維護(hù)過(guò)程中也要注意定期檢查；
（2）建立網(wǎng)站sitemap文件、死鏈文件，并及時(shí)通過(guò)百度站長(zhǎng)平臺(tái)進(jìn)行提交；
（3）部分電商網(wǎng)站存在地域跳轉(zhuǎn)問(wèn)題，有貨無(wú)貨建議統(tǒng)一做成一個(gè)頁(yè)面，在頁(yè)面中標(biāo)識(shí)有無(wú)貨即可，不要此地區(qū)無(wú)貨即返回一個(gè)無(wú)效頁(yè)面，由于spider出口的有限性將造成正常頁(yè)面無(wú)法收錄。
（4）合理利用站長(zhǎng)平臺(tái)提供的robots、sitemap、索引量、抓取壓力、死鏈提交、網(wǎng)站改版等工具。
