網站所設置的關鍵詞要想在SERP上獲取好的名詞，其首要前提是搜索引擎將其索引收錄在內。網頁沒有收錄，猶如脫水的魚，最終也會因為無人問津而落得流量枯竭。沒有了收錄的網站，自然也就失去了網站在搜索引擎排名的機會了。所以，在網站優化的時候，網站的收錄是推廣的首要前提、也是給網站帶來源源不斷流量的前提，當你掌握了這些技巧，那網站收錄無需愁。
robots.txt抓取障礙要去除
注意了，要是你的網站在百度或者谷歌都沒有被收錄的話，很大的原因可能是因為 robots.txt 存在著一些阻礙，導致你和搜索引擎之間的溝通發生錯亂，讓其誤解了你的意思。首先進入你的 robots.txt 文件中去查看，是否有設置一些“攔路虎”，阻擋了網站與搜索引擎之間的聯系？如果僅僅是因為網站的某個網頁一直沒有被收錄，就要查看以下單個URL是否因為 robots.txt 沒有被搜索引擎收錄。
noindex標簽設置要謹慎
確實，我們之前有教過大家，可以利用noindex標簽阻止某個網頁，不被它展現在SERP上。然而這個noindex標簽并不能被隨意濫用，很顯然，如果你的網頁一直被收錄不上，可以率先查看一下該頁面是否有被設置或者濫用noindex標簽。因為，此標簽就是用來告知搜索引擎，你并不想讓它收錄這個頁面，自然，搜索蜘蛛也不會“自討沒趣”，它是不會將其編入索引的。
站點地圖作用要重視
搜索引擎蜘蛛也是會在龐大的網站內迷路的，站點地圖還能為網站的爬取做出一點輔助作用，通常我們設置站點地圖就是為了告訴爬蟲們：哪些網頁是重要的，哪些是不重要的。通常情況下，盡管你的網站頁面沒有被容納進去站點地圖，爬蟲們還是能夠在你的網站中找到你的網頁。但是站點地圖也分為代碼式和頁面式，請注意，（我們說的是龐大的網站，不是普通的網站）龐大的網站要做齊全的xml網站地圖推送。
canonical標簽使用要深思
誠然，我們一般在使用到canonical標簽來解決網址規范化的問題，告訴搜索引擎哪個網頁才是正確的版本。在很多情況下，網站頁面是沒有canonical標簽的，這也就意味著，告訴搜索引擎這個頁面本來就是首選的網址版本，沒有其他的了，希望此頁面能夠被索引。如果canonical標簽錯誤使用了，那搜索引擎等分分鐘就會誤解你的意圖，網址版本收錄錯誤，那就并不能甩鍋到爬蟲身上了。
網站孤島頁面要常檢查
所謂的孤島頁面就是那些網站中沒有其他內部鏈接相連的頁面，搜索引擎們在通過抓取網站鏈接去發現新內容時，那些完全與整個網站脫離軌道的孤島頁面，難以被網絡爬蟲們發現，訪客也難以找尋這些內容。而這些孤島頁面盡管包含著很多的內容，但是往往在SERP上的排名并不高，也難以獲得大量的用戶點擊；再加上這些低價值的孤島頁面會浪費網站的抓取預算。可以從以下的方法去解決這些孤島頁面的問題：
如果網站的孤島頁面很重要，在其他的網站頁面內部鏈接起來；
如果該頁面可有可無，那將其刪掉或者移出站點地圖也無可厚非。