 Alex Cheema
|
bbfd5adc20
add support for llama3.1 (8b, 70b, 405b). bump mlx up to 0.16.0 and mlx-lm up to 0.16.1. fixes #66
|
hace 1 año |
|
Alex Cheema
|
5496cd85f5
Revert "smart model downloading for mlx #16"
|
hace 1 año |
|
Alex Cheema
|
3a230f3b44
smart model downloading for mlx #16
|
hace 1 año |
 Alex Cheema
|
174cff071e
Merge pull request #58 from jakobdylanc/main
|
hace 1 año |
|
Alex Cheema
|
b0e7dd9d2d
add max-generate-tokens flag fixes #54
|
hace 1 año |
 JakobDylanC
|
f2f61ccee6
inference engine selection improvements
|
hace 1 año |
|
Alex Cheema
|
4e46232364
add simple prometheus metrics collection, with a prometheus / grafana instance for live dashboard. related: #22
|
hace 1 año |
|
Alex Cheema
|
2e419ba211
Merge pull request #48 from itsknk/intel-mac
|
hace 1 año |
 itsknk
|
e934664168
implement dynamic inference engine selection
|
hace 1 año |
|
Alex Cheema
|
1fcbe18baa
fix m2 ultra flops
|
hace 1 año |
|
Alex Cheema
|
9d9d257eb2
reduce chatgpt api response timeout in test
|
hace 1 año |
|
Alex Cheema
|
8850187b8a
tell the mofo in the workflow to keep responses concise
|
hace 1 año |
|
Alex Cheema
|
052ee1c7e9
cache isolation per workflow job
|
hace 1 año |
|
Alex Cheema
|
ce41e653c0
check cached files in workflow
|
hace 1 año |
|
Alex Cheema
|
3d82338c21
debug cached files in workflow
|
hace 1 año |
|
Alex Cheema
|
aec58b3b36
remove redaudant discovery check in automated test
|
hace 1 año |
|
Alex Cheema
|
9785e250c0
formatting if
|
hace 1 año |
|
Alex Cheema
|
7708b47020
Merge pull request #49 from apotl/disable-viz-flag
|
hace 1 año |
|
Alex Cheema
|
08b2f37532
test output spacing
|
hace 1 año |
 Alec Potluri
|
db583a863f
disable tui flag
|
hace 1 año |
|
Alex Cheema
|
821f114bf9
add tests badge
|
hace 1 año |
|
Alex Cheema
|
71b8c660be
test workflow
|
hace 1 año |
|
Alex Cheema
|
6c871562e4
fix huggingface cache
|
hace 1 año |
|
Alex Cheema
|
cf98cc50fa
trigger workflow
|
hace 1 año |
|
Alex Cheema
|
719e149aeb
test trigger workflow
|
hace 1 año |
|
Alex Cheema
|
9d939b3703
disable tinygrad test again, we need a smaller model or a machine with more memory otherwise we get Metal OOM
|
hace 1 año |
|
Alex Cheema
|
774e620973
add space between outputs in github workflow integration test
|
hace 1 año |
|
Alex Cheema
|
a2a7ca1f8b
cleaner node info =
|
hace 1 año |
|
Alex Cheema
|
04f2aa2a65
try with METAL_XCODE=1 for tinygrad metal
|
hace 1 año |
|
Alex Cheema
|
d2ed4c2a16
disable tinygrad infernece engine test waiting Waiting on https://github.com/tinygrad/tinygrad/issues/5549
|
hace 1 año |
