يقرأ المراجع سؤالًا واستجابة واحدة أو أكثر من نموذج، ويسجّل حكمًا: أي استجابة يقبلها، هل إحداها غير آمنة، هل اللهجة المستخدمة أصيلة، هل الإشارة الثقافية وقعت في محلها أم أخطأت. الحكم مع تبرير المراجع هو إشارة التدريب نفسها.
أنواع المهام التي ننفذها
- ترتيب تفضيلات ثنائي (أ مقابل ب، مع التبرير)
- تقييم جودة مطلق وفق معيار محدد
- مراجعة الأمان والضرر، بما في ذلك الحساسية الخاصة بالمنطقة التي يغفل عنها معيار أمان عالمي عام
- التحقق من أصالة اللهجة — هل هذا فعلاً يشبه اللهجة الشامية الطبيعية، أم أنه فصحى بمفردات لهجة
- مراجعة الهلوسة مقارنة بمستند مصدر أو حقائق معروفة
كيف نتعامل مع الاختلاف بين المراجعين
اختلاف المراجعين أمر متوقع وليس خطأً. المهام ذات نسبة اتفاق منخفضة بين المراجعين تُحال إلى مراجع أقدم بدلًا من حسمها بالتصويت بالأغلبية فقط، ونسب الاختلاف تُقدَّم لك ضمن حزمة الجودة، لا تُخفى. راجع صفحة الجودة والمنهجية لمعرفة كيفية قياس الاتفاق.