Block or remove pages using a robot

Block or remove pages using a robots.txt file

The Generate robots.txt tool is going away. You can create a robots.txt file manually, or use one of the many robots.txt generation tools on the web.
A robots.txt file restricts access to your site by search engine robots that crawl the web. These bots are automated, and before they access pages of a site, they check to see if a robots.txt file exists that prevents them from accessing certain pages. (All respectable robots will respect the directives in a robots.txt file, although some may interpret them differently. However, a robots.txt is not enforceable, and some spammers and other troublemakers may ignore it. For this reason, we recommend password protecting confidential information.)

To see which URLs Google has been blocked from crawling, visit the Blocked URLs page of the Crawl section of Webmaster Tools.

You need a robots.txt file only if your site includes content that you don't want search engines to index. If you want search engines to index everything in your site, you don't need a robots.txt file (not even an empty one).

While Google won't crawl or index the content of pages blocked by robots.txt, we may still index the URLs if we find them on other pages on the web. As a result, the URL of the page and, potentially, other publicly available information such as anchor text in links to the site, or the title from the Open Directory Project (www.dmoz.org), can appear in Google search results.

In order to use a robots.txt file, you'll need to have access to the root of your domain (if you're not sure, check with your web hoster). If you don't have access to the root of a domain, you can restrict access using the robots meta tag.

ผลลัพธ์ (ไทย) 1:

บล็อก หรือแบบใช้ไฟล์ robots.txt

สร้างเครื่องมือ robots.txt จะออกไป คุณสามารถสร้างไฟล์ robots.txt ด้วยตนเอง หรือใช้เครื่องมือสร้าง robots.txt มากมายบนเว็บ
ไฟล์ robots.txt จำกัดการเข้าถึงไซต์ของคุณ ด้วยหุ่นยนต์เครื่องมือค้นหาที่เว็บรวบรวมข้อมูลได้ บอเหล่านี้จะเล่นโดยอัตโนมัติ และก่อนที่จะเข้าถึงเพจของไซต์ ตรวจสอบเพื่อดูว่าเป็นหุ่นยนต์ไฟล์ txt มีที่ป้องกันไม่ให้เข้าถึงเพ (หุ่นยนต์เกียรติทั้งหมดจะเคารพคำสั่งในไฟล์ robots.txt แม้ว่าบางส่วนอาจตีให้แตก อย่างไรก็ตาม robots.txt ไม่บุคลากร และยิ่งบางและผู้อื่นอาจละเว้น ด้วยเหตุนี้ เราขอแนะนำรหัสผ่านป้องกันข้อมูลความลับ)

ดูที่ Url Google ได้ถูกบล็อกไปตระเวน หน้า Url บล็อกของส่วนรวบรวมข้อมูลของเว็บมาสเตอร์มือ

ต้องไฟล์ robots.txt เมื่อไซต์ของคุณรวมถึงเนื้อหาที่คุณต้องการให้โปรแกรมค้นหาการจัดทำดัชนี ถ้าคุณต้องการให้โปรแกรมค้นหาการจัดทำดัชนีในไซต์ของคุณ คุณไม่จำเป็น (ไม่ได้มีหนึ่งว่างเปล่า) ไฟล์ robots.txt

ในขณะที่ Google จะไม่รวบรวมข้อมูล หรือดัชนีเนื้อหาของเพจที่ถูกบล็อก โดย robots.txt เราอาจยังดัชนี Url ถ้าเราค้นหาในหน้าอื่น ๆ บนเว็บ ดัง URL ของหน้าและ อาจ เผยข้อมูลอื่น ๆ เช่นจุดยึดข้อความเชื่อมโยงไปยังเว็บไซต์ หรือชื่อไดเรกทอรีโครงการเปิด (www.dmoz.org), สามารถปรากฏในผลลัพธ์การค้นหา Google ได้

การใช้ไฟล์ robots.txt คุณจะต้องสามารถเข้าถึงรากของโดเมนของคุณ (ถ้าคุณไม่แน่ใจ เช็ค มี hoster เว็บของคุณ) ถ้าคุณไม่สามารถเข้าถึงรากของโดเมน คุณสามารถจำกัดการเข้าถึงที่ใช้แท็ก meta หุ่นยนต์

ผลลัพธ์ (ไทย) 2:

บล็อกหรือลบหน้าเว็บโดยใช้ไฟล์ robots.txt สร้างเครื่องมือ robots.txt จะไป คุณสามารถสร้างไฟล์ robots.txt ด้วยตนเองหรือใช้หนึ่งในหลายเครื่องมือรุ่น robots.txt บนเว็บไฟล์ robots.txt จำกัด การเข้าถึงเว็บไซต์ของคุณโดยหุ่นยนต์เครื่องมือค้นหาที่รวบรวมข้อมูลเว็บ บอทเหล่านี้จะทำงานโดยอัตโนมัติและก่อนที่พวกเขาเข้าถึงหน้าของเว็บไซต์ของพวกเขาตรวจสอบเพื่อดูว่าไฟล์ robots.txt อยู่ที่ป้องกันไม่ให้พวกเขาจากการเข้าถึงหน้าเว็บบางหน้า (ทุกหุ่นยนต์ที่นับถือจะเคารพคำสั่งในไฟล์ robots.txt แม้ว่าบางคนอาจตีความให้แตกต่างกัน. แต่ robots.txt ไม่ได้บังคับใช้และผู้ส่งอีเมลขยะบางอย่างและการก่อกวนอื่น ๆ อาจไม่สนใจมัน. ด้วยเหตุนี้เราขอแนะนำให้ใช้รหัสผ่านป้องกัน ข้อมูลที่เป็นความลับ.) ในการดูว่า URL ของ Google ได้รับบล็อกจากการรวบรวมข้อมูลไปที่หน้า URL ที่ถูกปิดกั้นในส่วนของการรวบรวมข้อมูลของเครื่องมือ Webmaster คุณต้องมีไฟล์ robots.txt เฉพาะในกรณีที่เว็บไซต์ของคุณมีเนื้อหาที่คุณไม่ต้องการให้เครื่องมือค้นหาเพื่อ ดัชนี ถ้าคุณต้องการเครื่องมือค้นหากับทุกสิ่งที่ดัชนีในเว็บไซต์ของคุณคุณไม่จำเป็นต้องมีไฟล์ robots.txt (ไม่ได้หนึ่งว่างเปล่า) ในขณะที่ Google จะไม่รวบรวมข้อมูลหรือดัชนีเนื้อหาของหน้าเว็บที่ถูกปิดกั้นโดย robots.txt เราอาจ ยังคงดัชนี URL ที่ถ้าเราพบพวกเขาในหน้าอื่น ๆ บนเว็บ เป็นผลให้ URL ของหน้าและอาจข้อมูลที่เผยแพร่ต่อสาธารณะอื่น ๆ เช่นยึดข้อความในการเชื่อมโยงไปยังเว็บไซต์หรือชื่อจากโครงการ Open Directory (www.dmoz.org) สามารถปรากฏในผลการค้นหาเพื่อที่จะใช้ไฟล์ robots.txt คุณจะต้องมีการเข้าถึงไปยังรากของโดเมนของคุณ (ถ้าคุณไม่แน่ใจว่าตรวจสอบกับผู้ให้บริการเว็บไซต์ของคุณ) หากคุณไม่ได้มีการเข้าถึงรากของโดเมนคุณสามารถ จำกัด การเข้าถึงการใช้หุ่นยนต์เมตาแท็ก

ผลลัพธ์ (ไทย) 3:

บล็อก หรือลบหน้าเว็บที่ใช้ไฟล์ robots.txt

สร้างเครื่องมือ robots.txt จากไป คุณสามารถสร้างไฟล์ robots.txt ด้วยตนเองหรือใช้หนึ่งในหลาย robots.txt รุ่นเครื่องมือบนเว็บ .
ไฟล์ robots.txt จํากัดการเข้าถึงเว็บไซต์ของคุณโดยใช้เครื่องมือค้นหาหุ่นยนต์ที่รวบรวมข้อมูลเว็บ บอทเหล่านี้ได้โดยอัตโนมัติ และก่อนที่จะเข้าถึงหน้าเว็บของเว็บไซต์ที่พวกเขาตรวจสอบเพื่อดูว่าหุ่นยนต์ไฟล์ txt ที่มีอยู่ที่ป้องกันพวกเขาจากการเข้าถึงหน้าเว็บบางหน้า . ( หุ่นยนต์ที่น่านับถือทุกคนจะเคารพคำสั่งในไฟล์ robots.txt แม้ว่าบางคนอาจตีความต่างกัน อย่างไรก็ตาม , robots.txt ไม่ได้บังคับใช้ และมีผู้ส่งจดหมายขยะและสร้างปัญหาอื่น ๆอาจไม่สนใจมัน ด้วยเหตุนี้เราขอแนะนำรหัสผ่านป้องกันข้อมูลที่เป็นความลับ

)ดูที่ URL ที่ Google ได้ถูกปิดกั้นจากคลาน , เข้าเยี่ยมชม URL ที่ถูกบล็อกหน้าของข้อมูลในส่วนของเครื่องมือเว็บมาสเตอร์

คุณต้องไฟล์ robots.txt เท่านั้นหากเว็บไซต์ของคุณมีเนื้อหาที่คุณไม่ต้องการเครื่องมือค้นหาดัชนี หากคุณต้องการเครื่องมือค้นหาดัชนีทุกอย่างในเว็บไซต์ของคุณคุณไม่จำเป็นต้องใช้ไฟล์ robots.txt ( ไม่ได้ว่างนะ

)ในขณะที่ Google จะไม่คลานหรือดัชนีเนื้อหาของหน้าเว็บที่ถูกบล็อกโดย robots.txt , เราอาจยังคงดัชนี URL ถ้าเราพบพวกเขาบนหน้าเว็บอื่น ๆบนเว็บ เป็นผลให้ , URL ของหน้าและ , อาจ , ข้อมูลต่อสาธารณะอื่นๆ เช่น จุดยึดข้อความในการเชื่อมโยงไปยังเว็บไซต์หรือชื่อจากดีมอซ ( www.dmoz . org ) , จะปรากฏในผลการค้นหา Google .

ในการใช้ไฟล์ robots.txt , คุณจะต้องมีการเข้าถึงรากของโดเมนของคุณ ( ถ้าคุณไม่แน่ใจให้ตรวจสอบกับเว็บของคุณติด ) หากคุณไม่ได้มีการเข้าถึงรากของโดเมน คุณสามารถ จำกัด การเข้าถึงการใช้หุ่นยนต์เมตาแท็ก