Xarici tokenizatorlar Azərbaycan dilini həddindən artıq çox tokenə parçalayır. Prometheus ə hərfini və aqlütinativ morfologiyanı emal edən xüsusi tokenizatordan istifadə edir və bu, onu Azərbaycan mətnində 4,6 dəfə daha səmərəli edir.
İngilis dili üçün qurulmuş tokenizator Azərbaycan sözlərini çoxlu kiçik, mənasız parçalara bölür — bu isə xərci, gecikməni və anlaşılmazlığı artırır. Prometheus tokenizatoru bu dilin özü üçün yenidən qurur: ə hərfini və Azərbaycan dilinin aqlütinativ söz yaradıcılığını mənalı vahidlər kimi qəbul edir və bu, modeli Azərbaycan mətnində 4,6 dəfə daha səmərəli edir.
Tokenizator ə hərfini təhrif etmir, onu düzgün emal edir.
Aqlütinativ morfologiyanı təsadüfi parçalar kimi deyil, mənalı vahidlər kimi qəbul edir.
Azərbaycan mətnində 4,6 dəfə daha səmərəlidir, həm xərci, həm də gecikməni azaldır.
Daha yaxşı tokenləşdirmə Azərbaycan dilində mənanın daha yaxşı anlaşılması deməkdir.
Məhz Azərbaycan dili üçün qurulmuş və sizin öz infrastrukturunuzda yerləşdirilən modelin bir hissəsidir.
Xarici tokenizatorlar Azərbaycan dilini xeyli çox tokenə bölür, xərci və gecikməni artırır, mənanı itirir. Prometheus-un xüsusi tokenizatoru sözləri mənalı vahidlər kimi saxlayır.
Prometheus Azərbaycan mətnini xarici tokenizatorlardan istifadə edən modellərlə müqayisədə 4,6 dəfə daha səmərəli emal edir.
Bəli. Xüsusi tokenizator ə hərfini və Azərbaycan dilinin aqlütinativ morfologiyasını birbaşa emal edir.
Məhz Azərbaycan dili üçün qurulmuş ilk böyük dil modeli — ingilis dilindən uyğunlaşdırılmayıb.
Tamamilə öz şəbəkənizin daxilində işləyir — məlumatlar infrastrukturunuzdan kənara çıxmır.
Dəqiqlik tələblərinizə və avadanlıq büdcənizə uyğun üç model ölçüsü.
İngilis testlərinin tərcüməsi ilə deyil, TUMLU-nun orijinal Azərbaycan dili sualları ilə sınaqdan keçirilib.
Məhsulun bütöv mənzərəsi: problem, imkanlar, necə işlədiyi və tətbiqi.
Demo tələb edin və Prometheus-un sizin öz serverlərinizdə necə işlədiyini görün: Azərbaycan dilini anlama, model ölçüsünün seçilməsi və API inteqrasiyası — əvvəldən axıra qədər.