一般來(lái)說(shuō)，傳統(tǒng)的目錄頁(yè)都是“標(biāo)題+鏈接”的形式，而有些網(wǎng)站為了更好的用戶(hù)體驗(yàn)，除了標(biāo)題以外還會(huì)加上內(nèi)容的簡(jiǎn)介，慕求讓用戶(hù)可以第一時(shí)間選擇的自己甘興趣的文章進(jìn)行閱讀。 例如說(shuō)：保險(xiǎn)博客(公司網(wǎng)站下的一個(gè)二級(jí)域名子頻道)，這子頻道就是為了能讓用戶(hù)有更好的體驗(yàn)，在目錄頁(yè)那里都為每篇文章附加了一段簡(jiǎn)介，原以為用戶(hù)體驗(yàn)做好了，搜索引擎也會(huì)收錄的不錯(cuò)，但是有點(diǎn)錯(cuò)了。一段時(shí)間后發(fā)現(xiàn)該頻道的來(lái)客很少，收錄也不多，而且發(fā)現(xiàn)收錄的幾乎都是目錄頁(yè)，為什么呢?后來(lái)通過(guò)查看服務(wù)器的日志才發(fā)現(xiàn)，蜘蛛來(lái)的次數(shù)不少啊，可是幾乎都是爬到目錄頁(yè)就就停止了，偶爾才會(huì)進(jìn)一下文章內(nèi)頁(yè)里面。
然后就去研究一下了各大網(wǎng)站的目錄頁(yè)看看他們的怎么設(shè)置的。發(fā)現(xiàn)了幾大門(mén)戶(hù)網(wǎng)站的目錄頁(yè)幾乎都是比較的傳統(tǒng)的“標(biāo)題+鏈接”的形式。而網(wǎng)易同時(shí)擁有兩種類(lèi)型的目錄，但他們的收錄情況就不一樣了。傳統(tǒng)的“標(biāo)題+鏈接”的目錄頁(yè)和其的內(nèi)頁(yè)收錄都不錯(cuò)，至少我查看的頁(yè)面都被百度收錄了;但是帶有簡(jiǎn)介的目錄頁(yè)就不一樣了，本身是被了收錄了，但它上面的鏈接頁(yè)面，幾乎都沒(méi)怎么被收錄，至少我抽取的幾十篇不同日期發(fā)表的文章都沒(méi)有被收錄。按理說(shuō)網(wǎng)易這么大的網(wǎng)站，文章的點(diǎn)擊率應(yīng)該都不低啊，為什么還有被收錄呢?而同樣的問(wèn)題，我在站長(zhǎng)網(wǎng)也發(fā)現(xiàn)了，帶有簡(jiǎn)介的目錄頁(yè)上面的文章內(nèi)頁(yè)幾乎都沒(méi)有收錄。
于是就抱著試一試的想法，把公司網(wǎng)站的另一個(gè)二級(jí)頻道--保險(xiǎn)案例的目錄頁(yè)進(jìn)行了改造，做成比較傳統(tǒng)的“標(biāo)題+鏈接形式”，修改完后的第一天，收錄沒(méi)變，查看服務(wù)器日志，蜘蛛爬行數(shù)降到了個(gè)位數(shù)，而且只爬了一下目錄頁(yè)就走了。當(dāng)時(shí)不知道如何是好，心想著再等幾天看看。第二天、第三天。。。。終于收錄上去，雖然目前該頻道只有100篇左右的文章，但是收錄數(shù)達(dá)到了90左右，而之前一直在30-40的幅度徘徊。而相比保險(xiǎn)博客這個(gè)頻道雖然文章數(shù)達(dá)到了400多，但收錄數(shù)只有100左右，而且?guī)缀跻话攵际悄夸涰?yè)。看來(lái)這個(gè)頻道的改造事不宜遲了。
通過(guò)這件事情，我個(gè)人的總結(jié)就是：有時(shí)太過(guò)追求用戶(hù)體驗(yàn)也不是一件好事，如果能找到一個(gè)很好的平衡點(diǎn)去結(jié)合網(wǎng)站優(yōu)化和用戶(hù)體驗(yàn)當(dāng)然是最好的。就好比我上面說(shuō)的目錄頁(yè)問(wèn)題，在沒(méi)有找到更好的結(jié)合點(diǎn)之前，不妨還是采有傳統(tǒng)的方式，就像書(shū)本的目錄沒(méi)有每一節(jié)都帶上簡(jiǎn)介，都依然受歡迎(當(dāng)然前提就是一本好書(shū)) 。
最后再說(shuō)說(shuō)自己對(duì)這件的事情的猜想吧。通過(guò)站長(zhǎng)工具的蜘蛛模擬爬取，發(fā)現(xiàn)帶有簡(jiǎn)介的目錄頁(yè)居然有2000多字(當(dāng)然這個(gè)要看簡(jiǎn)介的長(zhǎng)短，以及設(shè)置的文章標(biāo)題數(shù)目而定，我們公司的網(wǎng)站是10條)，比一般文章還有長(zhǎng)。由此我就有這樣一個(gè)想法，是不是蜘蛛誤以為帶簡(jiǎn)介的目錄頁(yè)是一個(gè)文章頁(yè)，把那些標(biāo)題都當(dāng)作一個(gè)錨文字鏈接來(lái)看，沒(méi)有再進(jìn)一步地去爬取呢?
