Procházet zdrojové kódy

use fast AutoProcessor fixes #164 tokenizer issues with mistral-large.

Alex Cheema před 11 měsíci
rodič
revize
0d218e244e
1 změnil soubory, kde provedl 1 přidání a 1 odebrání
  1. 1 1
      exo/inference/tokenizers.py

+ 1 - 1
exo/inference/tokenizers.py

@@ -6,7 +6,7 @@ from exo.helpers import DEBUG
 async def resolve_tokenizer(model_id: str):
   try:
     if DEBUG >= 4: print(f"Trying AutoProcessor for {model_id}")
-    processor = AutoProcessor.from_pretrained(model_id, use_fast=False)
+    processor = AutoProcessor.from_pretrained(model_id, use_fast=True)
     if not hasattr(processor, 'eos_token_id'):
       processor.eos_token_id = getattr(processor, 'tokenizer', getattr(processor, '_tokenizer', processor)).eos_token_id
     if not hasattr(processor, 'encode'):