Pārlūkot izejas kodu

remove test sleep

Alex Cheema 8 mēneši atpakaļ
vecāks
revīzija
1f108a06ff
1 mainītis faili ar 0 papildinājumiem un 1 dzēšanām
  1. 0 1
      exo/orchestration/node.py

+ 0 - 1
exo/orchestration/node.py

@@ -122,7 +122,6 @@ class Node:
     if request_id not in self.buffered_token_output:
       self.buffered_token_output[request_id] = ([], False)
     is_finished = len(self.buffered_token_output[request_id][0]) >= self.max_generate_tokens
-    await asyncio.sleep(0.1)
     
     if shard.is_last_layer() and not is_finished:
       self.token_count += 1