Просмотр исходного кода

use fast AutoProcessor fixes #164 tokenizer issues with mistral-large.

Alex Cheema 11 месяцев назад
Родитель
Сommit
0d218e244e
1 измененных файлов с 1 добавлено и 1 удалено
  1. 1 1
      exo/inference/tokenizers.py

+ 1 - 1
exo/inference/tokenizers.py

@@ -6,7 +6,7 @@ from exo.helpers import DEBUG
 async def resolve_tokenizer(model_id: str):
   try:
     if DEBUG >= 4: print(f"Trying AutoProcessor for {model_id}")
-    processor = AutoProcessor.from_pretrained(model_id, use_fast=False)
+    processor = AutoProcessor.from_pretrained(model_id, use_fast=True)
     if not hasattr(processor, 'eos_token_id'):
       processor.eos_token_id = getattr(processor, 'tokenizer', getattr(processor, '_tokenizer', processor)).eos_token_id
     if not hasattr(processor, 'encode'):