 Alex Cheema
|
ce5041ee1b
types
|
1 ano atrás |
 Pranav Veldurthi
|
b13e368368
fix inference engine
|
1 ano atrás |
 Nel Nibcord
|
329efb2381
Model loading and saving for tinygrad
|
1 ano atrás |
|
Nel Nibcord
|
b1397b49be
Proper sharding in tinygrad
|
1 ano atrás |
|
Nel Nibcord
|
7f0c12a98d
embed fix
|
1 ano atrás |
|
Nel Nibcord
|
bd3114457f
Dummied up an abstact save_checkpoint
|
1 ano atrás |
|
Nel Nibcord
|
0673d6452c
Removed ensure_session to clean stuff up. May revisit later
|
1 ano atrás |
|
Nel Nibcord
|
6aaea8c74c
Abstract load checkpoint method
|
1 ano atrás |
|
Nel Nibcord
|
98edb393b2
Initialize inference engine session in base class
|
1 ano atrás |
|
Nel Nibcord
|
bcf87e79b7
Okay let's turn no_grad back on. We'll worry about that when tinygrad training works
|
1 ano atrás |
|
Nel Nibcord
|
b7bbda3348
Removed tinygrad StatefulModel class, as it's no longer used
|
1 ano atrás |
|
Nel Nibcord
|
67f5ae25a5
Fixing tinygrad model
|
1 ano atrás |
|
Nel Nibcord
|
bfa3b36be5
Fixing tinygrad model
|
1 ano atrás |
|
Nel Nibcord
|
37a75d6b96
Fixing tinygrad model
|
1 ano atrás |
|
Nel Nibcord
|
dd3d99043b
Working distributed training
|
1 ano atrás |
|
Nel Nibcord
|
836856824e
WIP: Training works on mlx
|
1 ano atrás |
|
Nel Nibcord
|
f5efbe1b8f
Initial distributed evaluation implementation
|
1 ano atrás |
 Rory Clear
|
3384fc7294
update tinygrad version
|
1 ano atrás |
|
Alex Cheema
|
4ece73423e
always run tinygrad stuff on same thread. tricky because of lazy evaluation
|
1 ano atrás |
|
Nel Nibcord
|
d69a9c4d43
Enabled inference engine intercompatibility
|
1 ano atrás |
|
Nel Nibcord
|
8b71d57da7
Removed inference state entirely
|
1 ano atrás |
|
Nel Nibcord
|
03924cf9af
Need tokens. Also, for some reason this gets mad if we have non-integral tokens but this isn't a problem elsewhere?
|
1 ano atrás |
|
Nel Nibcord
|
90518a3bbe
Hoisted caching to a wrapper class
|
1 ano atrás |
|
Nel Nibcord
|
52ef6ee4a3
Made temperature and top_p available to the inference engine sample interfaces
|
1 ano atrás |
|
Nel Nibcord
|
8205a5aebc
Implemented per-request caching in tinygrad
|
1 ano atrás |
|
Nel Nibcord
|
13572e6a40
Some stability improvements for tinygrad inference
|
1 ano atrás |
|
Nel Nibcord
|
c06b5f3b56
Corrected type annotations
|
1 ano atrás |
|
Nel Nibcord
|
9b66758b59
Make sure they're np arrays
|
1 ano atrás |
|
Nel Nibcord
|
b9d0fb6825
Since infer_prompt is a thin wrapper that works the same for all inference engines, we can de-abstract it
|
1 ano atrás |
|
Nel Nibcord
|
527c7a6e49
Applied new interface to tinygrad and dummy inference engines
|
1 ano atrás |
