Przeglądaj źródła

test add line of code

Alex Cheema 5 miesięcy temu
rodzic
commit
b1b08e68fc
1 zmienionych plików z 1 dodań i 0 usunięć
  1. 1 0
      exo/inference/mlx/sharded_inference_engine.py

+ 1 - 0
exo/inference/mlx/sharded_inference_engine.py

@@ -28,6 +28,7 @@ def sample_logits(
       token = top_p_sampling(logits, top_p, temp)
     else:
       token = mx.random.categorical(logits*(1/temp))
+
   return token
 
 class MLXDynamicShardInferenceEngine(InferenceEngine):