Alex Cheema пре 5 месеци
родитељ
комит
b1b08e68fc
1 измењених фајлова са 1 додато и 0 уклоњено
  1. 1 0
      exo/inference/mlx/sharded_inference_engine.py

+ 1 - 0
exo/inference/mlx/sharded_inference_engine.py

@@ -28,6 +28,7 @@ def sample_logits(
       token = top_p_sampling(logits, top_p, temp)
     else:
       token = mx.random.categorical(logits*(1/temp))
+
   return token
 
 class MLXDynamicShardInferenceEngine(InferenceEngine):