Explorar o código

use fast AutoProcessor fixes #164 tokenizer issues with mistral-large.

Alex Cheema hai 11 meses
pai
achega
0d218e244e
Modificáronse 1 ficheiros con 1 adicións e 1 borrados
  1. 1 1
      exo/inference/tokenizers.py

+ 1 - 1
exo/inference/tokenizers.py

@@ -6,7 +6,7 @@ from exo.helpers import DEBUG
 async def resolve_tokenizer(model_id: str):
   try:
     if DEBUG >= 4: print(f"Trying AutoProcessor for {model_id}")
-    processor = AutoProcessor.from_pretrained(model_id, use_fast=False)
+    processor = AutoProcessor.from_pretrained(model_id, use_fast=True)
     if not hasattr(processor, 'eos_token_id'):
       processor.eos_token_id = getattr(processor, 'tokenizer', getattr(processor, '_tokenizer', processor)).eos_token_id
     if not hasattr(processor, 'encode'):