Ben düz bir dosyada 50.000 kimlikleri bir liste var ve kimlikleri herhangi bir yinelenen kaldırmak gerekir. Benim sorun için herhangi bir etkili / önerilen bir algoritma var mı?

Teşekkürler.