 Alex Cheema
|
a009f7d608
move examples to examples dir
|
před 1 rokem |
|
Alex Cheema
|
b6595bac04
add llama-3-70b to the examples
|
před 1 rokem |
|
Alex Cheema
|
54e8cad2d6
remove uneeded prints
|
před 1 rokem |
|
Alex Cheema
|
c691205591
empty space
|
před 1 rokem |
|
Alex Cheema
|
bcd58938de
clean debug logs
|
před 1 rokem |
|
Alex Cheema
|
b9c323bb07
memory-efficient shard loading
|
před 1 rokem |
|
Alex Cheema
|
53a5b3fc6a
add uuid requirement
|
před 1 rokem |
|
Alex Cheema
|
05b9fa497d
initialize node id to uuid4 if not set
|
před 1 rokem |
|
Alex Cheema
|
ff597d9551
fix discovery
|
před 1 rokem |
|
Alex Cheema
|
a04974168e
fix model import path
|
před 1 rokem |
|
Alex Cheema
|
b8a2a0fbe0
update readme run instruction
|
před 1 rokem |
|
Alex Cheema
|
a933352ac3
add DEBUG flag for controlling debug logs
|
před 1 rokem |
|
Alex Cheema
|
dd882fe6bc
experimental notice
|
před 1 rokem |
|
Alex Cheema
|
c8753ba5fe
reshuffle readme
|
před 1 rokem |
|
Alex Cheema
|
ee5204fbca
readme installation instructions
|
před 1 rokem |
|
Alex Cheema
|
78da11e10b
slightly nicer readme
|
před 1 rokem |
|
Alex Cheema
|
2fc472c8fe
slightly nicer readme
|
před 1 rokem |
|
Alex Cheema
|
8ff3e263a0
slightly nicer readme
|
před 1 rokem |
|
Alex Cheema
|
32f2e36fd3
main rename
|
před 1 rokem |
|
Alex Cheema
|
5bbde22a23
move everything under exo module
|
před 1 rokem |
|
Alex Cheema
|
c851644a43
update requirements, specify exact versions
|
před 1 rokem |
|
Alex Cheema
|
32972033dd
update readme
|
před 1 rokem |
|
Alex Cheema
|
5ef07d41a5
readme
|
před 1 rokem |
|
Alex Cheema
|
490fa102a4
tinygrad inference engine
|
před 1 rokem |
|
Alex Cheema
|
e6f387a690
handle is_finished
|
před 1 rokem |
|
Alex Cheema
|
b01f69bb6b
add support for multiple concurrent requests with request ids
|
před 1 rokem |
|
Alex Cheema
|
7077652c8e
graceful node shutdown
|
před 1 rokem |
|
Alex Cheema
|
ca6095c04d
a generic test for every inference engine
|
před 1 rokem |
|
Alex Cheema
|
850b72d3ea
make StatefulShardedModel callable, add some tests for mlx sharded inference
|
před 1 rokem |
|
Alex Cheema
|
6ee0547eff
fix layer calculation for sharded llama
|
před 1 rokem |
