，對(duì)于沒(méi)有審核通過(guò)的商品則進(jìn)行刪除操作；于是，會(huì)出現(xiàn)一些情況：新增商品頁(yè)面被百度爬蟲抓取，但隨之該頁(yè)面被刪除。

由于網(wǎng)站在百度的權(quán)重比較高

，幾乎每日新增商品頁(yè)都會(huì)很快收錄，因此，在這批新收錄的商品頁(yè)面中有一定比例的頁(yè)面很快不存在了，即：一批剛被收錄的頁(yè)面又向百度Spider返回了404狀態(tài)碼，簡(jiǎn)單以蔽之，“讓百度收了再讓百度刪”，我覺得百度可能會(huì)“很生氣，后果很嚴(yán)重”。

為解決這個(gè)問(wèn)題，我之前采取了如下方法：

既然將商家發(fā)布的商品包含兩種狀態(tài)：已審核和未審核

，那么就為商品頁(yè)面設(shè)計(jì)2種URL規(guī)則，如果商品未審核，則使用第1套URL規(guī)則，同時(shí)，利用robots協(xié)議限制百度Spider爬蟲抓取這些頁(yè)面；如果商品已審核，那么就與已有商品一樣，使用第2套URL規(guī)則。這樣就可以確保百度Spider抓取到的商品頁(yè)面都是有效頁(yè)面，不會(huì)由于商品審核不通過(guò)而單日內(nèi)出現(xiàn)大量404頁(yè)面。

是否可以利用403狀態(tài)碼來(lái)解決該問(wèn)題？思路如下：

判斷商品是否通過(guò)平臺(tái)運(yùn)營(yíng)方審核