Browse Source

ndim check in llama

Alex Cheema 10 tháng trước cách đây
mục cha
commit
cb575f5dc3
1 tập tin đã thay đổi với 1 bổ sung1 xóa
  1. 1 1
      exo/inference/mlx/models/llama.py

+ 1 - 1
exo/inference/mlx/models/llama.py

@@ -54,7 +54,7 @@ class LlamaModel(nn.Module):
       h = inputs
 
     mask = None
-    if h.shape[1] > 1:
+    if h.ndim > 1 and h.shape[1] > 1:
       mask = create_attention_mask(h, cache)
 
     if cache is None: