GET Condicional con Python
Si estas construyendo un Scutter (o spider o crawler) es esencial que sigas ciertas guias de desarrollo, el el estandar de exclusión de páginas robots.txt y entre otras cosas más, soportar GETs condicionales. Y si usas Python como lenguaje de desarrollo estas de parabienes, ya que la gente de Python Own Us ha escrito un excelente articulo con ejemplo sobre como hacer GETs condicionales con Python.
