Orada bu soruna farklı yaklaşımlar çok hangi bazıları burada belirtilen vardır, ama ne veri sonrası toplaması ile yapıyoruz belli değil ...?

Eğer digg gibi 'X Diggs' sitenizde düğmelerini veya özet grafikler ya da sürekli olarak bir tür üzerinde kullanılabilir olması için ihtiyacı olan böyle bir şey sağlamak için bu verileri kullanmak istiyorsanız, aslında bunun için memcache kullanmak, ve olabilir kodunuzu uygun zamanlarda bunu arttırarak bugüne kadar belirli bir istatistik yukarı için önbellek anahtarı tutun.

Ayrıca, daha karmaşık raporlama için iyi çalışabilir, hangi veritabanında toplama tabloları tutmak olabilir. Bu durumda, ne ihtiyacı vardır size ne kadar veri ve bağlı olarak, bir saatlik tablo sahip kurtulmak mümkün olacak, ve sonra birkaç gün, hafta vb göstermek için bu temel tablo bağlı görünümler oluşturmak olabilir

Eğer ton ve veri ton var ve toplam tabloları gerekiyorsa, RabbitMQ veya ActiveMQ gibi bir kuyruğa istatistik koleksiyonu (ve belki veritabanı kendilerini sorgular) boşaltma içine bakmak gerekir. Sıranın diğer tarafta sadece oturur ve gerektiği gibi (belki de önbelleği ve) veritabanında şeyleri güncellemek, her zaman çalışan bir tüketici cini koydu.

Ayrıca düşünebilirsiniz tek şey, web sunucusunun günlükleri. Ben config günlük biçimi kurallara sadece küçük tweaks sonra web sunucusu günlükleri kendilerini gerekli istatistiklerin biraz büyük bir kısmını almak mümkün oldu örneklerini gördüm. Sen günlükleri her rulo, ve sonra bir raporlama veritabanı sonuçları kayıt, bunları çevrimdışı olarak işleme başlayabilirsiniz.

Ben dili Burada sınırlayıcı bir faktör ya da tıkanıklık olduğunu sanmıyorum ama, (Ben özellikle, loghetti Apache birleşik biçimi günlükleri ile ilgili yayımlanan) Python ile tüm bu şeyler yaptık. Ruby, Perl, Java, Scala, ya da (bazı durumlarda) bile awk çalışacak.

Ben geçmişte benzer bir şey yapmak için bir proje üzerinde çalışmış, bu yüzden performansı ile gerçek deneyime sahip. Sen zor. Bakın (değil "INSERT ... VALUES (SELECT ...)" "SELECT ... INSERT" performansını yenmek için basılı olacaktır http://dev.mysql.com/doc/refman/5.1/en/insert-select.html

Avantaj olduğunu size MySQL işlemlerinde roll-up kod tutarsanız, özellikle, siz dışarıdan gereken tüm sağ sağ roll-up performans içine DB karıştırmak için sadece bir cron işi olduğunu, bunu ise kez - bir kabuk-senaryo gibi basit 'mysql <correct DB arguments etc.> "CALL RollupProcedure"'

Bu şekilde, (... makine sınırı boyunca hiçbir veri hareketli) kendinize sıfır bellek ayırma hataları yanı sıra, MySQL DB ayrı bir makinede olduğu zaman iyi bir performansa sahip garanti edilir

EDIT: Saatlik çözünürlük gayet iyi - sadece bir saatlik cron işi çalıştırmak ...

Eğer çoğunlukla SQL komutlarını çalıştırıyorsanız, neden sadece komut satırından MySQL vs kullanmak değil? Sen toplu veriler daha sonra mysql -u[user] -p[pass] < commands.sql bir dosyadan SQL geçmek gibi bir komutu çalıştırmak listeleyen basit bir tablo oluşturabilir.

Ya da, daha küçük parçalar halinde çalışmalarını bölünmüş ve (bu kolay eğer PHP dosyaları gibi) sırayla onları çalıştırmak.

Eğer gerçekten bir sürekli uzun süren bir süreç olması gerekir eğer bir döngü oluşturmak ve süresiz çalışmasını tutabilir beri sonra python veya java gibi bir programlama dili, daha iyi olurdu. PHP bu tür bir şey için uygun değildir. Java için herhangi bir PHP sınıfları dönüştürmek oldukça kolay olurdu.