Ben bir iki tablo var.

TABLE 1 has id(PRIMARY)|RANK|WEBSITE |ADDRESS
This is filled with a million websites.

TABLE 2 has id(PRIMARY)|tag1|tag2|tag3 ......|tag30

Ben meta etiketleri ve diğer özellikler için kazıma tarafından etiketlerini üreten duyuyorum.

Ben ilk birkaç bin web siteleri için veritabanı doldurmamak sorunumuz yok. Bundan sonra, bunu doldurmak mümkün değilim. Ben zaman aşımına uğradı sanırım.

Nasıl tüm veritabanı doldurmak için devam etmelidir?

EDIT:

Ben dinamik web sitelerinin URL'ler kazıyarak verileri alıyorum