Explorar o código

Call no longer needs request_id

Nel Nibcord hai 8 meses
pai
achega
65fdc99ccc
Modificáronse 1 ficheiros con 1 adicións e 1 borrados
  1. 1 1
      exo/inference/tinygrad/models/llama.py

+ 1 - 1
exo/inference/tinygrad/models/llama.py

@@ -225,7 +225,7 @@ class Transformer:
       h = inputs
     return h
 
-  def __call__(self, tokens: Tensor, start_pos: Variable, request_id: str, cache: Optional[List[Tensor]] = None):
+  def __call__(self, tokens: Tensor, start_pos: Variable, cache: Optional[List[Tensor]] = None):
     # TODO: better way to handle the first call v.s. the rest?
     h = self.embed(x)
     if tokens.shape[0:2] == (1, 1) and self.forward_jit is not None: