“Este artigo do IBM DeveloperWorks apresenta o conceito de web spiders - sistemas que percorrem uma página, ou o conjunto de páginas de um site, para realizar determinadas atividades pré-programadas. São apresentados exemplos em Ruby e em Python de spiders "for dummies" que identificam o servidor web que roda determinada página, monitoram o valor de mercado das ações da IBM e verificam os links internos de um site qualquer.

O artigo fala ainda sobre os spiders implementados em utilitários como o wget, curl, snarf, fget e fetch.”