 Alex Cheema
|
ca6095c04d
a generic test for every inference engine
|
hace 1 año |
|
Alex Cheema
|
850b72d3ea
make StatefulShardedModel callable, add some tests for mlx sharded inference
|
hace 1 año |
|
Alex Cheema
|
6ee0547eff
fix layer calculation for sharded llama
|
hace 1 año |
|
Alex Cheema
|
445eda156c
dynamically assign shards to nodes deterministically weighted by memory
|
hace 1 año |
|
Alex Cheema
|
36b8456798
collect global topology with local peer visibility, ring memory weighted partitioning strategy
|
hace 1 año |
|
Alex Cheema
|
3a66a0a4a8
add requirements.txt
|
hace 1 año |
|
Alex Cheema
|
ee96c6b023
add another test for device capabiities on MacBook Air
|
hace 1 año |
|
Alex Cheema
|
6c8c9ee7b1
topology with partitioning strategy
|
hace 1 año |
|
Alex Cheema
|
563dcb56b0
mlx sharded implementation with example of distributed inference
|
hace 1 año |
|
Alex Cheema
|
a21f59ff45
scaffolding for networking, inference and orchestration
|
hace 1 año |
