Xüsusi tokenizator

Azərbaycan dilinə Azərbaycan dili kimi yanaşan tokenizator

Xarici tokenizatorlar Azərbaycan dilini həddindən artıq çox tokenə parçalayır. Prometheus ə hərfini və aqlütinativ morfologiyanı emal edən xüsusi tokenizatordan istifadə edir və bu, onu Azərbaycan mətnində 4,6 dəfə daha səmərəli edir.

İcmal

Azərbaycan dili üçün xüsusi tokenizator

İngilis dili üçün qurulmuş tokenizator Azərbaycan sözlərini çoxlu kiçik, mənasız parçalara bölür — bu isə xərci, gecikməni və anlaşılmazlığı artırır. Prometheus tokenizatoru bu dilin özü üçün yenidən qurur: ə hərfini və Azərbaycan dilinin aqlütinativ söz yaradıcılığını mənalı vahidlər kimi qəbul edir və bu, modeli Azərbaycan mətnində 4,6 dəfə daha səmərəli edir.

Nə verir

Tokenizator niyə vacibdir

✓

Tokenizator ə hərfini təhrif etmir, onu düzgün emal edir.

✓

Aqlütinativ morfologiyanı təsadüfi parçalar kimi deyil, mənalı vahidlər kimi qəbul edir.

✓

Azərbaycan mətnində 4,6 dəfə daha səmərəlidir, həm xərci, həm də gecikməni azaldır.

✓

Daha yaxşı tokenləşdirmə Azərbaycan dilində mənanın daha yaxşı anlaşılması deməkdir.

✓

Məhz Azərbaycan dili üçün qurulmuş və sizin öz infrastrukturunuzda yerləşdirilən modelin bir hissəsidir.

Necə işləyir

Tokenizator necə işləyir

1Azərbaycan mətni xüsusi tokenizatorla oxunur
2Mətndəki ə hərfi və söz şəkilçiləri mənalı vahidlər kimi saxlanılır
3Hər cümlə üçün daha az token yaranır
4Model mətni 4,6 dəfə daha səmərəli emal edir
Suallar

Tez-tez verilən suallar

Tokenizator niyə vacibdir?

Xarici tokenizatorlar Azərbaycan dilini xeyli çox tokenə bölür, xərci və gecikməni artırır, mənanı itirir. Prometheus-un xüsusi tokenizatoru sözləri mənalı vahidlər kimi saxlayır.

O, nə qədər daha səmərəlidir?

Prometheus Azərbaycan mətnini xarici tokenizatorlardan istifadə edən modellərlə müqayisədə 4,6 dəfə daha səmərəli emal edir.

O, ə hərfini emal edə bilirmi?

Bəli. Xüsusi tokenizator ə hərfini və Azərbaycan dilinin aqlütinativ morfologiyasını birbaşa emal edir.

Həmçinin baxın

Prometheus başqa nələri bacarır

Başlayın

Prometheus-u öz infrastrukturunuzda görün

Demo tələb edin və Prometheus-un sizin öz serverlərinizdə necə işlədiyini görün: Azərbaycan dilini anlama, model ölçüsünün seçilməsi və API inteqrasiyası — əvvəldən axıra qədər.