Vaka çalışmaları
Avrupalı perakende grubu için çok dilli etiketleme ve moderasyon
Otomatik moderasyonu Almanca ve İngilizce için ayarlı bir perakende grubu için, önce ölçüm yaparak ve sınıflandırıcıları yeniden eğiterek düşük hizmet verilen dillerdeki hata oranı düşürüldü.
Zorluk
Grubun pazaryeri altı dilde içerik taşıyordu ve otomatik moderasyonu Almanca ile İngilizce için ayarlıydı. Türkçe, Arapça ve Rusça içerik her iki yönde de belirgin yüksek hata oranıyla geçiyordu. Grubun kendi kalite örneklemesi de İngilizce öncelikliydi, bu yüzden sorunun boyutunu ölçemiyordu.
Corpshore ne yaptı
İstanbul ve uzaktan Türkiye'de altı dilde insan moderasyonu ve etiketlemeyi birleştiren bir yönetilen hizmet kurduk. İlk teslimat throughput değil ölçümdü: mevcut moderasyon kararlarını altı dilde örnekleyip etiketleyerek dil bazında gerçek hata oranını belirledik. Sonra iki iş akışını paralel yürüttük: üretim hacminde moderasyon ve sınıflandırıcıları yeniden eğitmek için etiketleme.
Sonuçlar
- Türkçe ve Arapça'da yanlış baskılama, yeniden eğitilen sınıflandırıcılar devreye girdikçe üç çeyrekte yüzde 71 azaldı
- İncelemeyi geçen yasaklı içerik, Almanca dışı tüm dillerde belirgin düştü
- Düşük hizmet verilen dillerde satıcı itirazları yarıdan fazla azaldı
- Grup, hiç sahip olmadığı dil bazında kalite ölçümü kazandı
Neden işe yaradı
Grup bir moderasyon sorunu olduğunu biliyor ama şeklini göremiyordu, çünkü ölçümü modelleriyle aynı kör noktaya sahipti. Önce her dilde ölçmek, sonrasındaki her şeyi işe yarar kıldı.
Türkiye ekibinizi kuralım
Fonksiyonunuzu, ölçeğinizi ve dil ihtiyacınızı anlatın. Altı saat içinde size dönelim.