-
1 # 影視愛好者陳小二
-
2 # 龍華仙島
因為toutiao網站伺服器上做了robots設定，遮蔽了搜尋引擎的蜘蛛，你開啟 https://www.toutiao.com/robots.txt 這個檔案，可以看到Disallow: / 欄位，這是不允許搜尋引擎蜘蛛爬取。
根據robots協議，搜尋引擎的蜘蛛必須遵守目標網站設定，哪類檔案可以抓取，哪些目錄可以抓取，都可以在robots.txt裡體現出來。
-
3 # 莫子Share
要理解這個問題，首先得知道原理是什麼。
在瀏覽器上搜到的文章，其實是搜素引擎在眾多的網站上“爬”來的。搜尋引擎有一種掃描網頁的技術，俗稱“爬蟲”，它會去網站去抓取頁面的內容，然後儲存到伺服器裡收錄，當有人搜尋相關內容的時候，伺服器就把這些內容呈現出來。
-
4 # 鄉村海天青京冀魯蘇粵
然而不知道為什麼現在這些網站越來越少了，能夠讓百度搜到的這些網站逐步逐步有的經營不景氣也收縮了，比如說網易的部落格。
-
5 # 閱聞世界
弄清楚這個問題，需要先了解下其背後的原理。首先更正下這個問題，搜尋結果與瀏覽器無關，而是瀏覽器上使用的搜尋引擎相關的。什麼是瀏覽器？
瀏覽器是一個展示網頁內容的應用，比如像QQ瀏覽器，谷歌瀏覽器，360瀏覽器，火狐瀏覽器等供我們瀏覽網頁的軟體應用；
什麼是搜尋引擎？
搜尋引擎是供使用者搜尋內容的軟體服務，比如像百度，谷歌，360，bing,搜尋等等。
搜尋引擎的原理？
可以舉個例子來理解，比如字典工具，我們只需要知道一個詞的拼音，或者筆畫就可以快速的找到這個詞的詳細內容所在的頁面。
搜尋引擎也是類似的，首先收集網路上大量的內容，然後對這些內容進行處理，建立相應的類似於字典的索引，使用者在輸入內容搜尋時，就可以快速的返回相關內容的地址。
為什麼搜不到那？
上面已經說明了搜尋引擎的原理，把網路上所有的內容都建立索引，按理是應該可以搜尋到的才對呀，但是卻搜不到，為什麼那？
搜尋引擎在爬取內容時，需要遵循一個叫做robots的協議。
robots協議也叫robots.txt（統一小寫）是一種存放於網站根目錄下的ASCII編碼的文字檔案，它通常告訴網路搜尋引擎的漫遊器（又稱網路蜘蛛），此網站中的哪些內容是不應被搜尋引擎的漫遊器獲取的，哪些是可以獲取的。
User-agent: *
Disallow: /
Allow: /complain/
Allow: /media_partners/
Allow: /about/
Allow: /user_agreement/
Allow: /$
User-agent: ByteSpider
Allow: /
User-agent: ToutiaoSpider
Allow: /
User-agent: *
Disallow: /static/game*
表示除了一些靜態內容，都可以爬取。因此所有搜尋引擎都是可以爬取的，然後可以被搜尋的。
-
6 # 阿青闖北京
一個網站上的內容，只有進去該網站才會有展示，是否在瀏覽器展示，取決於該網站有沒有開啟被搜尋引擎爬取的許可權，拿淘寶購物平臺和京東舉例，淘寶商品連結就關閉了被百度搜索引擎爬取的許可權，而京東就開啟了被爬取的許可權，當用戶搜尋某個商品時，淘寶平臺即使有這個商品，也不會在搜尋結果下展示，而京東的商品連結就會展現在搜尋結果下。
本問題原理和搜尋引擎爬取原理是一樣的，但網站不被爬取，可以充分保護網站內智慧財產權的安全性，為顧客提供優質的，有特色的服務。
-
7 # 小慶雜說
首先糾正一下哈，不是瀏覽器的問題，而是要搜尋引擎。
其實這個事很好理解啊，你是開包子鋪的，你允許其它賣包子的去你家門口打廣告嗎？
你上網買衣服，同樣的品牌，同樣的款式，不論是某寶還是某東或某多，基本都都能找到，價格或許有差別，質量也或許不一樣，如果有問題是這些平臺的事，你總不能拿著某寶買的衣服去找某東理論吧。
國內的搜尋引擎我不用說，你也能知道，你搜索後排名靠前的都是什麼呢，我建議你不要看標題，先看看下面那行小字的後面，是不是有“廣告”二字。
其實也不是搜尋不到，只是少部分能搜尋到，大部分搜不到而已。
你的筆用完放在了桌子上，你同事的筆水快沒了，哪怕看後你的筆沒人用，他也不會拿。
反之，你看到同事桌子上的筆，你也不會拿。
其實這就是你為什麼搜尋不到的原因，同行是冤家嘛。
-
8 # 風趣真真
老師好！答：這可能是自己的文章，沒有豐富的內容，文案也不吸引人，文化水平不高有關係吧？這個問題我也不太清楚，這也是我的猜側。
回覆列表
因為你寫的東東不夠好，權重不夠大，不被瀏覽器抓取，聯絡你研究一下seo最佳化，你的文章相當於一個入口，但是人們怎樣找到你的文章呢？
可以透過搜尋關鍵詞來定義範圍，但是一個關鍵詞會有成百上千個網頁，哪個網頁權重大，就會被放的靠前，那麼你看到的機率就大。瀏覽器也會在網路裡挑取一些優秀的東東推薦給它的使用者，如果你的文章或者影片沒有創意，內容不夠豐富，還有錯別字，怎麼可能會被它抓取到呢？
所以一定要做原創，內容一定要足夠優秀，這樣你的東西才能被大家更容易的看到。為什麼很多人去根據熱點來進行創作，因為這個東東都是大家喜歡並想要看到的東西，那麼最先去做的人，哪怕他的內容不夠特別好，但是一樣有很高的瀏覽量，就是它的東東太過於稀缺了，這也就是為什麼內容為王，好東西不用去做廣告，大家都會搶著買，做文章和影片也是這樣的道理！
路漫漫其修遠兮，，吾將上下而求索，自媒體的道路太過於坎坷，慢慢悟吧，只要抓住一丟丟規律，那麼你的道路必將平坦！