在開始之前我覺得先來一個名詞解釋，否則怕你還沒看完文章，頭都暈了： Robots Meta （指揮官）：是一些程式語法，它們提供網頁爬蟲如何抓取或索引網頁內容的抓取指令，指令很嚴格，他是指導網頁爬蟲如何抓取和索引頁面的內容。 有點像是搜索爬蟲的指揮官，你的文章要讓 google 搜入，必須要使用到 Robots Meta 指令，他有分別兩種： 屬於HTML頁面（如meta robots tag）的部分，以及Web服務器作為HTTP頭部（如 x-robots-tag）發送的指令。 meta robots tag 和 x-robots-tag 都可以使用相同的參數，不同的是這些參數如何傳遞給網頁爬蟲。 參考文章：漫遊器中繼標記和 X-Robots-Tag HTTP 標頭規範 meta robots （有個性的員工）：輸入標籤指令，你還是偷偷給我抓。 robots.txt（乖乖牌的員工）：輸入標籤指令，不抓就不抓。 學習使用 Robots.txt 真的會使用 Robots.txt 乖乖牌員工通常是「網站不想公開」，大多數人都建議使用 Meta Robots 來控制索引就好，網站的資料還是一樣讓 Google 去抓取，除非有以下情況： 該頁面捲入很大風暴，導致有負面影響，這是當然要馬上撤銷。 活動頁面秘密舉行，尚未完工的頁面，還在建置中當然要先排除。 確定這些頁面會影響 SEO 當然要撤銷。 防止重複內容出現在SERP中 整個部分都是私人內容（例如，您的工程團隊的 轉載網站） 保持內部搜索結果頁面不會顯示在公共 SERP 上 防止搜索引擎索引您網站上的某些文件（圖片，PDF等） 防止服務器在爬網程序一次加載多個內容時被超載 補充說明：SERP (Search engine results...Read More