ใช้ wget ดาวน์โหลดโดยไม่ต้องสนใจ robots.txt (wget ignore robots.txt)

ปกติเวลาใช้ wget ดาวน์โหลดไฟล์มันจะมองหา robots.txt ในรีโมทไซต์ก่อนว่ามี disallow อยู่รึเปล่า ซึ่งถ้ามีมันก็จะไม่ยอมโหลด

ซึ่งเราสามารถเพิกเฉย robots.txt ได้ โดยเพิ่มออพชั่น -e robots=off ลงไป

$ wget www.example.com/i_want_this/ -e robots=off