在家中使用日常设备运行自己的 AI 集群。由 exo labs 维护。

Alex Cheema 850b72d3ea make StatefulShardedModel callable, add some tests for mlx sharded inference 1 năm trước cách đây
inference 850b72d3ea make StatefulShardedModel callable, add some tests for mlx sharded inference 1 năm trước cách đây
networking 445eda156c dynamically assign shards to nodes deterministically weighted by memory 1 năm trước cách đây
orchestration 445eda156c dynamically assign shards to nodes deterministically weighted by memory 1 năm trước cách đây
topology 36b8456798 collect global topology with local peer visibility, ring memory weighted partitioning strategy 1 năm trước cách đây
.gitignore 850b72d3ea make StatefulShardedModel callable, add some tests for mlx sharded inference 1 năm trước cách đây
example_user.py 36b8456798 collect global topology with local peer visibility, ring memory weighted partitioning strategy 1 năm trước cách đây
example_user_2.py 445eda156c dynamically assign shards to nodes deterministically weighted by memory 1 năm trước cách đây
main.py 36b8456798 collect global topology with local peer visibility, ring memory weighted partitioning strategy 1 năm trước cách đây
main_dynamic.py 445eda156c dynamically assign shards to nodes deterministically weighted by memory 1 năm trước cách đây
requirements.txt 3a66a0a4a8 add requirements.txt 1 năm trước cách đây