Alex Cheema 5 месяцев назад
Родитель
Сommit
b1b08e68fc
1 измененных файлов с 1 добавлено и 0 удалено
  1. 1 0
      exo/inference/mlx/sharded_inference_engine.py

+ 1 - 0
exo/inference/mlx/sharded_inference_engine.py

@@ -28,6 +28,7 @@ def sample_logits(
       token = top_p_sampling(logits, top_p, temp)
     else:
       token = mx.random.categorical(logits*(1/temp))
+
   return token
 
 class MLXDynamicShardInferenceEngine(InferenceEngine):