Vazifa
Mijoz Label Studio’dan foydalangan va yuridik ob’ektlar hamda ularning o’zaro bog’lanishlarini ajratib olish modeli uchun o’quv ma’lumotlar to’plamini shakllantirishni maqsad qilgan edi.
Quyidagilarni amalga oshirish kerak edi:
- asosiy ob’ektlarni ajratish: sotuvchi, xaridor, ajratilayotgan huquq, vakil va boshqalar
- ularni aniq hujjat mantig’i doirasida to’g’ri bog’lash
- kontekst va shartli tuzilmalarni hisobga olish
Asosiy qiyinchiliklar:
- murakkab sintaktik tuzilmalar va ichki shartlar
- xatolarga yuqori sezgirlik — bitta atamani o’tkazib yuborish ma’noni buzadi
- formatlarning birlashmasligi: shartnomalar, meros guvohnomalari, ishonchnomalar, kelishuvlar
Aslida bu alohida so’zlarni emas, balki mazmuniy tuzilmani belgilash haqida gap ketardi.
Yechim
Metodologik tayyorgarlik
Asosiy bosqichni boshlashdan oldin biz batafsil qoidalar tizimini shakllantirdik:
- 20 dan ortiq belgilash stsenariysi uchun texnik yo’riqnomalar ishlab chiqdik
- muntazam ravishda yangilanadigan bahsli holatlari bo’yicha Q&A bilan yagona hujjat yaratdik
- har bir ob’ekt turi uchun skrinshotlar bilan annotatsiya namunalarini tayyorladik
- o’quv videolarini yozdik va birinchi vazifalar bo’yicha shaxsiy fikr-mulohazalar berdik
- savollarni tezkor hal qilish uchun helpdesk modeli asosida ichki qo’llab-quvvatlash kanalini joriy etdik
Bu talqinlar o’zgaruvchanligini kamaytirish va annotatorlar o’rtasida yuridik mantiqni tushunishni tenglashtirishga imkon berdi.
Annotatsiya jarayoni
Annotatorlar:
- asosiy yuridik ob’ektlarni ajratdilar
- ular o’rtasida qo’lda bog’lanishlar qurishdi
- munosabatlarni qayd etdilar, masalan, ajratilayotgan huquqni bir vaqtning o’zida sotuvchi va bitim ob’ekti bilan bog’ladilar
- tuzilma bog’liqligini, shu jumladan vakilni asosiy tomonга to’g’ri bog’lashni ta’minladilar
Label Studio maydonlarni aniq sozlash, bog’lanishlar mantig’i va ma’lumotlar formatini nazorat qilish uchun ishlatildi.
Sifat nazorati
Har bir hujjat majburiy validatsiyadan o’tdi:
- bog’lanishlar va ob’ektlarni qayta tekshirish
- validatsiya jadvallarida xatolarni batafsil tavsiflash
- aniq izohlar bilan qayta ishlashga qaytarish
Doimiy fikr-mulohazalar belgilash aniqligini bosqichma-bosqich oshirish va takroriy tuzatishlar sonini kamaytirishga imkon berdi.
Ish jadvali
1-hafta — Hujjatlar tanlamasini tahlil qilish, yo’riqnomalarni shakllantirish, ob’ektlar tuzilmasi bo’yicha kelishish
2-hafta — Pilot belgilash, ko’rsatmalarni to’g’rilash, sifat mezonlarini yakunlash
3-8 haftalar — Parallel validatsiya va muntazam fikr-mulohaza sessiyalari bilan asosiy annotatsiya bosqichiYakuniy bosqich — Ma’lumotlar to’plami izchilligini nazorat qilish, buyurtmachiga topshirish
Natija
- 6 000 dan ortiq yuridik hujjat belgilandi — yuqori murakkablikdagi
- Yuqori aniqlik ta’minlandi — ob’ektlar va mantiqiy bog’lanishlarni ajratib olishda
- Kengaytiriluvchi metodologiya shakllandi — birlashtirilmagan huquqiy matnlar bilan ishlash uchun
- Annotatorlar ekspertizasi oshirildi — tizimli o’qitish va muntazam nazorat hisobiga
