Ben log dosyaları ve (çubuk grafikler değil, köşe ve kenarları gibi) grafikler onları görüntülemek ardından verileri toplamak ayrıştırmak için PHP bazı yazılım yazma için gidiyorum.

Evet, bu temelde benim şirket için bütün bir ekip var iş zekası yazılım ama görünüşe göre onlar (bir sayfa sadece bunu değil yüklemek için 10 dakika) büyük bir iş yapmıyoruz.

Burada yapmam gereken budur:

• Log dosyaları biz kurulum (biz tür google analytics gibi istatistikler sunucuya asenkron çağrı göndermek) ofisimizden çalışan var bir istatistik sunucusu gelen ham verileri depolayan veri dosyalarıdır. Bu csv formatında veri depolar.
• dosyalarını ayrıştırmak ve bir veritabanına veri toplamak için bir senaryo yazmak (ya da ben Redis düşünüyordum)
• Geà görüntülerken hızlı olmalıdır kadar agrega şeyler milyonlarca ve milyonlarca olacak

Ben DB için OLAP hakkında biliyorum, ama Redis ile gitmek istiyorsanız bunu büyük veri hacimleri için ölçek düşünüyorsunuz? Dosyaları ayrıştırmak için bir PHP komut dosyası yeterli olurdu sizce ya ben daha hızlı C / C + + gibi bir şey ile gitmek gerekir?

Temelde benim görevi başarmak için farklı yollar hakkında bazı ilginç fikirler almak istiyorum. Bu hızlı ve ölçek olmalıdır.

Herhangi bir fikir?