Pārlūkot izejas kodu

explicitly enable TOKENIZERS_PARALLELISM=true

Alex Cheema 3 mēneši atpakaļ
vecāks
revīzija
a8a9e3ffa1
1 mainītis faili ar 1 papildinājumiem un 0 dzēšanām
  1. 1 0
      exo/main.py

+ 1 - 0
exo/main.py

@@ -42,6 +42,7 @@ import psutil
 # TODO: figure out why this is happening
 os.environ["GRPC_VERBOSITY"] = "error"
 os.environ["TRANSFORMERS_VERBOSITY"] = "error"
+os.environ["TOKENIZERS_PARALLELISM"] = "true"
 
 # Configure uvloop for maximum performance
 def configure_uvloop():