互聯網發展早期的搜索引擎,對web頁面的排序,是根據搜索的詞組(短語)在頁面中的出現次數(occurence ),并用頁面長度和html標簽的重要性提示等進行權重修訂。鏈接名氣(link popularity)技術通過其它文檔鏈接到當前頁面(inbound links)的鏈接數量來決定當前頁的重要性,這樣可以有效地抵制被人為加工的頁面欺騙搜索引擎的手法。
PageRank計算頁面的重要性,對每個鏈入(inbound)賦以不同的權值,鏈接提供頁面的越重要則此鏈接入越高。當前頁的重要性,是由其它頁面的重要性決定的。
1.2、PageRank算法1
PR(A) = (1-d) + d (PR(T1)/C(T1) + ... + PR(Tn)/C(Tn))
其中:
PR(A):頁面A的網頁級別,
PR(Ti):頁面Ti的網頁級別,頁面Ti鏈向頁面A,
C(Ti):頁面Ti鏈出的鏈接數量,
d:阻尼系數,取值在0-1之間.
由此可見,
1)這個算法不以站點排序,頁面網頁級別由一個個獨立的頁面決定;
2)頁面的網頁級別由鏈向它的頁面的網頁級別決定,但每個鏈入頁面的貢獻的值是不同的。如果Ti頁面中鏈出越多,它對當前頁面A的貢獻就越小。A的鏈入頁面越多,其網頁級別也越高;
3)阻尼系數的使用,減少了其它頁面對當前頁面A的排序貢獻。
1.3、隨機沖浪模型
Lawrence Page 和 Sergey Brin 提出了用戶行為的隨機沖浪模型,來解釋上述算法。他們把用戶點擊鏈接的行為,視為一種不關心內容的隨機行為。而用戶點擊頁面內的鏈接的概率,完全由頁面上鏈接數量的多少決定的,這也是上面PR(Ti)/C(Ti)的原因。一個頁面通過隨機沖浪到達的概率就是鏈入它的別的頁面上的鏈接的被點擊概率的和。阻尼系數d的引入,是因為用戶不可能無限的點擊鏈接,常常因勞累而隨機跳入另一個頁面。d可以視為用戶無限點擊下去的概率,(1-d)則就是頁面本身所具有的網頁級別。
1.4、PageRank算法2(對算法1的修訂)
PR(A) = (1-d) / N + d (PR(T1)/C(T1) + ... + PR(Tn)/C(Tn))
其中N是互聯網上所有網頁的數量
由此,所有頁面的網頁級別形成的一個概率分布,所有頁面的網頁級別之和是1。在算法1中,隨機沖浪訪問某個頁面的概率由互聯網的總頁數決定,在算法2中,網頁級別是一個頁面被隨機訪問的期望值。由此,所有頁面的網頁級別形成的一個概率分布,所有頁面的網頁級別之和是1。在算法1中,隨機沖浪訪問某個頁面的概率由互聯網的總頁數決定,在算法2中,網頁級別是一個頁面被隨機訪問的期望值。
以下講解,皆基于算法1,主要是計算簡單,因為不用考慮N的值。
以下講解,皆基于算法1,主要是計算簡單,因為不用考慮N的值。
1.5、PageRank的特性
所有頁面的網頁級別之和等于互聯網的總頁數。在網頁數比較少的情況下,網頁級別方程可以解出,而面對互聯網上成億的網頁,再解方程是不可能的。
此處設阻尼系數為0.5,雖然Lawrence Page 和 Sergey Brin在實際將其設為 0.85.
PR(A) = 0.5 + 0.5 PR(C)
PR(B) = 0.5 + 0.5 (PR(A) / 2)
PR(C) = 0.5 + 0.5 (PR(A) / 2 + PR(B))
解得:
PR(A) = 14/13 = 1.07692308
PR(B) = 10/13 = 0.76923077
PR(C) = 15/13 = 1.15384615
有:
PR(A)+PR(B)+PR(C)=3
1.6、迭代計算pagerank
Google采用一種近似的迭代的方法計算網頁的網頁級別的,也就是先給每個網頁一個初始值,然后利用上面的公式,循環進行有限次運算得到近似的網頁級別。根據Lawrence Page 和 Sergey Brin公開發表的文章,他們實際需要進行100次迭代才能得到整個互聯網的滿意的網頁級別值,這兒的例子只用了10多次就可以了。在迭代的過程中,每個網頁的網頁級別的和是收斂于整個網絡的頁面數的。所以,每個頁面的平均網頁級別是1,實際上的值在(1-d)和(dN+(1-d))之間。
|
迭代次數 |
PR(A) |
PR(B) |
PR(C) |
|
0 |
1 |
1 |
1 |
|
1 |
1 |
0.75 |
1.125 |
|
2 |
1.0625 |
0.765625 |
1.1484375 |
|
3 |
1.07421875 |
0.76855469 |
1.15283203 |
|
4 |
1.07641602 |
0.76910400 |
1.15365601 |
|
5 |
1.07682800 |
0.76920700 |
1.15381050 |
|
6 |
1.07690525 |
0.76922631 |
1.15383947 |
|
7 |
1.07691973 |
0.76922993 |
1.15384490 |
|
8 |
1.07692245 |
0.76923061 |
1.15384592 |
|
9 |
1.07692296 |
0.76923074 |
1.15384611 |
|
10 |
1.07692305 |
0.76923076 |
1.15384615 |
|
11 |
1.07692307 |
0.76923077 |
1.15384615 |
|
12 |
1.07692308 |
0.76923077 |
1.15384615 |
1.7、Google搜索引擎的網頁級別的實現
有三個因素決定的網頁的等級:網頁特定性因素、入鏈錨的文本、網頁級別。
網頁特定性因素包括網頁的內容、標題及URL等。
為提供檢索結果,Google根據網頁特定性因素和入鏈錨的文本計算出網頁的IR值,這個值被檢索項在頁面中的位置和重要性加權,以決定網頁和檢索請求相關性。IR值和網頁級別聯合標志網頁的基本重要程度,這兩個值的聯合方式有多種,但明顯的是不能相加的。
由于網頁級別只對非特定的單個詞的檢索請求影響比較明顯,對于由多個檢索詞構成的檢索請求,內容相關性的分級標準的影響更大。
1.8、用Google工具條顯示當前頁面的網頁級別
Google工具條是Google公司開發的IE插件,需要從Google下載并安裝。注意,顯示網頁級別的功能是其高級功能,這時會自動收集用戶的信息,并會自動升級工具條。
這個工具條顯示的網頁級別分為0-10共11級,如果根據理論用(Nd+(1-d))測算,假定d=0.85,則推測實際網級別的對數即為顯示的級別,且對數的基數在6-7之間。
Google的目錄服務可以顯示網站的級別
此處級別分為7級。有人對兩種級別進行了比較?!?/P>
1.9、入鏈對計算頁面級別的影響
入鏈總是能增加當前頁面的級別,尤其當前頁與其下級頁面構成回路時,這種貢獻更大。如右圖例,設ABCD各 頁初始級別為1,阻尼系數為0.5,PR(X)/C(X)=10。則易算出
PR(A) = 19/3 = 6.33
PR(B) = 11/3 = 3.67
PR(C) = 7/3 = 2.33
PR(D) = 5/3 = 1.67
如果A不在回路上,則只能得0.5*10=5的收益。
阻尼系數越大,頁面級別的收益越大,且整個回路上都能收到更大的收益(即入鏈收益更能平均地分布到各個回路頁面上。針對上例,將阻尼系數改為0.75,則有
PR(A) = 419/35 = 11.97
PR(B) = 323/35 = 9.23
PR(C) = 251/35 = 7.17
PR(D) = 197/35 = 5.63
除回路上各個頁面的級別值明顯增大外,PR(A)/PR(D)的值敢明顯減少了。
入鏈對整個回路上所有頁面的級別值的增加之和,可以由下面這個公式得出.
(d / (1-d)) × (PR(X) / C(X))
這個公式,可以由 簡單推導出。
1.10、出鏈對計算頁面級別的影響
增加出鏈不會影響整個web的總級別,但一個站點失去的級別值等于鏈到的站點的增加值之和。對于兩個封閉的站點,從一個站點鏈上另一個站點時,增加的和減少的都是(d(/(1-d) × (PR(X) / C(X)).如果這兩個站點互相鏈接,則此值減少。用隨機沖浪模型可以解釋這種現象,就是出鏈的增加,減少了用戶訪問站內頁面的概率。舉例如圖,設阻尼系數 為0.75,則
PR(A) = 0.25 + 0.75 PR(B)
PR(B) = 0.25 + 0.375 PR(A)
PR(C) = 0.25 + 0.75 PR(D) + 0.375 PR(A)
PR(D) = 0.25 + 0.75 PR(C)
得:
PR(A) = 14/23
PR(B) = 11/23
PR(C) = 35/23
PR(D) = 32/23
PR(A)+PR(B)=25/23
PR(C)+PR(D)=67/23
PR(A)+PR(B)+PR(C)+PR(D)=92/23=4
Page和Brin將這樣的鏈接稱為懸擺鏈,它鏈到頁面沒有出鏈。懸擺鏈對頁 面的級別計算產生負面影響。如例,阻尼系數為0.75.
PR(A) = 0.25 + 0.75 PR(B)
PR(B) = 0.25 + 0.375 PR(A)
PR(C) = 0.25 + 0.375 PR(A)
得:
PR(A) = 14/23
PR(B) = 11/23
PR(C) = 11/23
PR(A)+PR(B)+PR(C)=36/23<3
據Page和Brin,Google在索引頁面時,懸擺鏈的量很大,主要是由于限制robot.txt的限制及索引了一些沒有鏈出的文件類型如PDF等。為消除這種負面影響,google在計算級別時,將此類鏈接從數據庫里去掉,在計算完畢后,再單獨計算懸擺鏈所鏈到頁面。由此可見,PDF類的文件還是可以放心地在網上發布的。
1.11、頁面數量的影響
先看例子。阻尼系數為0.75,PR(X)/C(X)=10,則
PR(A) = 0.25 + 0.75 (10 + PR(B) + PR(C))
PR(B) = PR(C) = 0.25 + 0.75 (PR(A) / 2)
得:
PR(A) = 260/14
PR(B) = 101/14
PR(C) = 101/14
PR(A)+PR(B)+PR(C)=33;
增加頁面D;
PR(A) = 0.25 + 0.75 (10 + PR(B) + PR(C) + PR(D))
PR(B) = PR(C) = PR(D) = 0.25 + 0.75 (PR(A) / 3)
得
PR(A) = 266/14
PR(B) = 70/14
PR(C) = 70/14
PR(D) = 70/14
PR(A)+PR(B)+PR(C)+PR(D)=34
增加頁面后,所有頁面的級別值之和增加了1,A頁略有增加,而B、C則用大幅下降。
再看右邊的例子,假定同上。
PR(A) = 0.25 + 0.75 (10 + PR(C))
PR(B) = 0.25 + 0.75 × PR(A)
PR(C) = 0.25 + 0.75 × PR(B)
得:
PR(A) = 517/37 = 13.97
PR(B) = 397/37 = 10.73
PR(C) = 307/37 = 8.30
增加頁面D:
PR(A) = 0.25 + 0.75 (10 + PR(D))
PR(B) = 0.25 + 0.75 × PR(A)
PR(C) = 0.25 + 0.75 × PR(B)
PR(D) = 0.25 + 0.75 × PR(C)
得:
PR(A) = 419/35 = 11.97
PR(B) = 323/35 = 9.23
PR(C) = 251/35 = 7.17
PR(D) = 197/35 = 5.63
增加頁面后,所有頁面級別增加了1,但每個頁面的級別值減少了,這是由于新加頁面分享了入鏈代來的值。從這個結果看,增加頁面減少了已有頁面的級別值,露了google算法青睞小站點的特點。當然,大站點也會因內容豐富而吸引其它 站點的出鏈而得以級別值增加。
1.12、針對搜索引擎優化的級別分布
先看兩個列子,阻尼系數為0.5,PR(X)/C(X)=10;
BC之間無鏈接時:
PR(A) = 0.5 + 0.5 (10 + PR(B) + PR (C))
PR(B) = 0.5 + 0.5 (PR(A) / 2)
PR(C) = 0.5 + 0.5 (PR(A) / 2)
得
PR(A) = 8
PR(B) = 2.5
PR(C) = 2.5
BC之間互相鏈接時:
PR(A) = 0.5 + 0.5 (10 + PR(B) / 2 + PR(C) / 2)
PR(B) = 0.5 + 0.5 (PR(A) / 2 + PR(C) / 2)
PR(C) = 0.5 + 0.5 (PR(A) / 2 + PR(B) / 2)
得:
PR(A) = 7
PR(B) = 3
PR(C) = 3
當BC 間互鏈時,雖然減少了A的級別,但BC都增加了。這符合優化站點所有頁面而非只主頁的優化思路,因為只有每個頁面的級別都提高了,當有檢索詞命中這些頁面時,它們才能排在前面。這種優化的方法也很明顯了,就是盡可能地在所有頁面間平均分布入鏈的貢獻,各低級頁面要增加互鏈。
只要不影響易用性,盡可能地將所有出鏈集中在一個或幾個低級頁面中,可以有效地降低出鏈對頁面級別計算的負面影響??戳凶樱鹤枘嵯禂禐?.5, PR(X)/C(X)=10;
BCD都有出鏈時: