Нативный токенизатор

Токенизатор, для которого азербайджанский — это азербайджанский

Зарубежные токенизаторы дробят азербайджанский на слишком большое число токенов. Prometheus использует нативный токенизатор, который обрабатывает букву ə и агглютинативную морфологию, и поэтому в 4,6 раза эффективнее на азербайджанском тексте.

Обзор

Нативный азербайджанский токенизатор

Токенизатор, созданный для английского, разбивает азербайджанские слова на множество мелких бессмысленных фрагментов — это раздувает стоимость, задержку и число ошибок понимания. Prometheus перестраивает токенизатор под сам язык: буква ə и агглютинативное словообразование азербайджанского обрабатываются как значимые единицы, благодаря чему модель в 4,6 раза эффективнее на азербайджанском тексте.

Что это даёт

Почему токенизатор важен

✓

Корректно обрабатывает букву ə, а не искажает её.

✓

Обрабатывает агглютинативную морфологию как значимые единицы, а не как случайные фрагменты.

✓

В 4,6 раза эффективнее на азербайджанском тексте, что снижает и стоимость, и задержку.

✓

Лучшая токенизация — лучшее понимание смысла азербайджанского текста.

✓

Часть модели, созданной нативно для азербайджанского и развёрнутой на вашей собственной инфраструктуре.

Как это работает

Как работает токенизатор

1Азербайджанский текст читается нативным токенизатором
2Буква ə и окончания слов сохраняются как значимые единицы
3На каждое предложение приходится меньше токенов
4Модель обрабатывает текст в 4,6 раза эффективнее
Вопросы

Частые вопросы

Почему токенизатор важен?

Зарубежные токенизаторы разбивают азербайджанский на гораздо больше токенов, повышая стоимость и задержку и теряя смысл. Нативный токенизатор Prometheus сохраняет слова как значимые единицы.

Насколько он эффективнее?

Prometheus обрабатывает азербайджанский текст в 4,6 раза эффективнее, чем модели с зарубежными токенизаторами.

Обрабатывает ли он букву ə?

Да. Нативный токенизатор напрямую обрабатывает букву ə и агглютинативную морфологию азербайджанского.

Смотрите также

Что ещё умеет Prometheus

Начать

Посмотрите Prometheus на вашей инфраструктуре

Запросите демо — и увидите Prometheus в работе на ваших собственных серверах: понимание азербайджанского, подбор размера модели и интеграция через API, от начала до конца.