소스 검색

disable tinygrad test again, we need a smaller model or a machine with more memory otherwise we get Metal OOM

Alex Cheema 1 년 전
부모
커밋
9d939b3703
1개의 변경된 파일6개의 추가작업 그리고 6개의 파일을 삭제
  1. 6 6
      exo/inference/test_inference_engine.py

+ 6 - 6
exo/inference/test_inference_engine.py

@@ -30,9 +30,9 @@ asyncio.run(test_inference_engine(
     "mlx-community/Meta-Llama-3-8B-Instruct-4bit",
 ))
 
-# TODO: Waiting on https://github.com/tinygrad/tinygrad/issues/5549
-asyncio.run(test_inference_engine(
-    TinygradDynamicShardInferenceEngine(),
-    TinygradDynamicShardInferenceEngine(),
-    "llama3-8b-sfr",
-))
+# TODO: Need more memory or a smaller model
+# asyncio.run(test_inference_engine(
+#     TinygradDynamicShardInferenceEngine(),
+#     TinygradDynamicShardInferenceEngine(),
+#     "llama3-8b-sfr",
+# ))