GAP O’XSHASHLIGI ASOSIDA PEREFRAZLARNI ANIQLASH JARAYONLARINI MODELLASHTIRISH
Keywords:
Perefrazni aniqlash, semantic o’xshashlik, Mashinali o’qitish (ML), Text Preprocessing Pipline (TPP)Abstract
Tabiiy tilga ishlov berish (NLP) sohasidagi turli vazifalarda, jumladan, plagiatni aniqlash, mualliflikni aniqlash, savol-javob tizimlarida qo‘llash, matnni qisqartirish, mashina tarjimasi, umumiy matn tahlili va boshqalarda muhim rol o‘ynaydi. Matnlar o‘rtasidagi semantik o‘xshashlikni o‘lchash bo‘yicha dastlabki yondashuvlardan biri axborot izlash sohasida vektorli fazo modeli (Vector Support Model) hisoblanadi. Katta hajmdagi teglanmagan korpuslardan olingan matnlar bilan neyron tarmoqni (NN-training) o‘qitish tasodifiy parametrlarga asoslangan VSMni yaratishga olib keladi. Perefrazlarni aniqlash vazifasida natija 0 dan 1 gacha bo‘lgan ehtimollik ko‘rinishida ifodalanadi, bu yerda 1 ga yaqin qiymat gaplar juftligini bir-birining perefrazi sifatida ko‘rsatadi, 0 esa ularni semantik jihatdan farqlanishni bildiradi.