Bir CSV 500.000 satırları almak için 30 dakika sürer?
MySQL zor işi yapmak izin düşündünüz mü? CSV dosyaları ile ilgili destekler, LOAD DATA INFILE vardır:
LOAD DATA INFILE 'data.txt' INTO TABLE tbl_name
FIELDS TERMINATED BY ',' ENCLOSED BY '"'
LINES TERMINATED BY '\n';
Dosyası oldukça doğru hedef tabloya ithal edilecek doğru şekli değilse, önceden onu dönüştürmek için PHP kullanmak, ya da bir "evreleme" masanın içine yüklemek ve MySQL gerekli dönüşümü halledeyim ya - hangisi daha hızlı ve daha uygundur.
Ek bir seçenek olarak, uyumsuz MySQL Native Driver for PHP (MYSQLND) ile MySQL sorguları çalıştırmak için bir olasılık gibi görünüyor. Belki de bu seçeneği keşfedebilirsiniz. Bu çabuk UI performans tutmak sağlayacak.
Eğer ekler bir sürü yapıyorsanız, toplu ekler yapıyorsun? yani böyle:
INSERT INTO table (col1 col2) VALUES (val1a, val2a), (val1b, val2b), (....
Bu dramatik ekler hızlandırır.
Eğer değişiklikleri yaparken Yapabileceğiniz başka bir şey devre dışı indeksleme, o zaman bitmiş olduğunuzda tek seferde endeksleri yeniden sağlar.
Yapıyoruz ve daha fazla fikir almak olabilir ne hakkında biraz daha ayrıntı
Biz büyük bir uygulamada böyle bir özelliği vardı. Biz 9 indeksleri ile bir tabloya csv satır milyonlarca ekleme sorunu vardı. Üstlenmeden çok sonra biz veri eklemek için ideal bir yoldur mysql LOAD DATA INFILE komutu, bir [geçici] tabloya yüklemek için bulduğumuz orada dönüşümleri yapmak ve gerçek birden fazla ekleme sorguları sonucu kopyalayabilirsiniz tablo (INSERT INTO ... SELECT FROM) (tek bir ekleme ama YMMV verilmesi daha iyi performans) her sorgu sadece 50k çizgiler ya da öylesine işleme.
Bu kullanıcının kontrolü altında coz, cron ile bunu yapamam, daha sonra bir kullanıcı tıklayın süreç düğmeleri ve işlem durumunu görmek için günlüklerini kontrol edebilirsiniz
Kullanıcı presler düğmesi, veritabanındaki bir tabloda bir bayrak dedik. Daha sonra bu bayrak için cron işi kontrol var. Eğer varsa, başka türlü değil, işleme başlayabilirsiniz. Uygulanabilir Seni durum güncellemesi (örn.% xx yapılan) bir çeşit göndermek için aynı tabloyu kullanabilirsiniz, böylece kullanıcı ilerleme hakkında bazı görüş vardır.