企業網站建設的小細節：robots文件

robots文件設置也是一個企業網站建設的小細節，值得我們注意。悅然網絡工作室在之前的文章中其實已經講過相關的問題。

如果你的企業網站是由公司內部技術人員制作的，那么你一定要要求技術人員核查一下，看看有沒有設置，或者有沒有設置正確。

如果你的企業網站建設是由建站公司完成的，其實robots.txt文件應該是由網站建設公司幫你設置好的，但實際上有很多建站公司都不會幫你設置，比如上圖這個網站，robots.txt文件直接是空的！這樣對網站其實也是不利的，雖然這樣不會限制百度等搜索引擎蜘蛛的抓取，但這樣蜘蛛可能會什么內容都抓取，甚至包括網站內的隱私文件，這樣很容易引發安全問題。還有很多建站平臺的網站也存在這個情況。

錯誤的寫法

User-agent: *
Disallow: /

還有一些企業網站雖然有robots.txt文件，但是寫法是錯誤的，如上圖所示，這樣表示你網站上的所有內容都被禁止抓取了，這樣的情況下網站基本不會被收錄，或者收錄很少。

參考寫法

User-agent: *
Disallow: /wp-admin/
Disallow: /404.htm
Sitemap: http://m.wto86.com/sitemap.xml

不同的網站有不同的內容，目錄結構可能也存在較大的差別，這個很多時候并不能直接參考網上的寫法，如果你的企業網站需要重寫robots.txt文件，最好是找當初做網站的人員協助，或者是找其它專業人士。如果你的企業網站建設是由wordpress完成的，那么也可以參考一下上面的寫法。

總結

robots.txt文件雖然只是企業網站建設過程中的小細節，但它的影響可能會非常大，一定要重視哦。現在就去檢查一下你的robots.txt文件有沒有設置正確吧，如果有問題請及時修改。