。一般來講，我們可能得到很多詞，同一個(gè)詞可能在一篇網(wǎng)頁中多次出現(xiàn)。從效果（effectiveness）和效率（efficiency）考慮，不應(yīng)該讓所有的詞都出現(xiàn)在網(wǎng)頁的表示中，要去掉諸如“的”，“在”等沒有內(nèi)容指示意義的詞，稱為“停用詞”（stop word）。這樣，對(duì)一篇網(wǎng)頁來說，有效的詞語數(shù)量大約在200個(gè)左右。
2. 重復(fù)或轉(zhuǎn)載網(wǎng)頁的消除，與生俱來的數(shù)字化和網(wǎng)絡(luò)化給網(wǎng)頁的復(fù)制以及轉(zhuǎn)載和修改再發(fā)表帶來了便利，因此我們看到Web上的信息存在大量的重復(fù)現(xiàn)象。這種現(xiàn)象對(duì)于廣大的網(wǎng)民來說是有正面意義的，因?yàn)橛辛烁嗟男畔⒃L問機(jī)會(huì)。但對(duì)于搜索引擎來說，則主要是負(fù)面的；它不僅在搜集網(wǎng)頁時(shí)要消耗機(jī)器時(shí)間和網(wǎng)絡(luò)帶寬資源，而且如果在查詢結(jié)果中出現(xiàn)，無意義地消耗了計(jì)算機(jī)顯示屏資源，也會(huì)引來用戶的抱怨，“這么多重復(fù)的，給我一個(gè)就夠了”。因此，消除內(nèi)容重復(fù)或主題內(nèi)容重復(fù)的網(wǎng)頁是搜索引擎抓取網(wǎng)頁階段的一個(gè)重要任務(wù)。
3、鏈接分析，大量的HTML標(biāo)記既給網(wǎng)頁的預(yù)處理造成了一些麻煩，也帶來了一些新的機(jī)遇。從信息檢索的角度講，如果系統(tǒng)面對(duì)的僅僅是內(nèi)容的文字，我們能依據(jù)的就是“共有詞匯假設(shè)”（shared bag of words），即內(nèi)容所包含的關(guān)鍵詞集合，最多加上詞頻（term frequency 或tf、TF）和詞在文檔集合中出現(xiàn)的文檔頻率（document frequency 或df、DF）之類的統(tǒng)計(jì)量