I do bunu yapmak için izniniz.

Ben 'ürün açıklamaları' ve 'ürün görüntüleri' indirmek için gereken hangi yaklaşık 250 sayfaları ile bir web sitesi var. Ben bunu nasıl yaparım? Ben bir DB tablo koymak böylece ben, bir CSV içine veri almak istiyorum. Birisi bu başlamak için iyi bir öğretici beni işaret? Ben sağ, cURL kullanıyor olmalıdır?

Şimdiye kadar, ben başka stackoverflow sayfasından bu var, How do I transfer wget output to a file or DB?:

curl somesite.com | grep sed etc | sed -e '/^(.*)/INSERT tableName (columnName) VALUES (\1)/' |psql dbname

Ve ben görüntüleri almak için, hangi berbat, bu yarattı:

#!/bin/bash

lynx --source "www.site.com"|cut -d\" -f8|grep jpg|while read image
do
wget "www.site.com/$image"
done

Bu videoyu izleyerek: http://www.youtube.com/watch?v=dMXzoHTTvi0.