 Nel Nibcord
|
b1397b49be
Proper sharding in tinygrad
|
hai 8 meses |
|
Nel Nibcord
|
7f0c12a98d
embed fix
|
hai 8 meses |
|
Nel Nibcord
|
bd3114457f
Dummied up an abstact save_checkpoint
|
hai 8 meses |
|
Nel Nibcord
|
cc66a0b782
Missed one
|
hai 8 meses |
|
Nel Nibcord
|
124a0338b4
Slightly simplified waiting for outstanding requests
|
hai 8 meses |
|
Nel Nibcord
|
a4313da8d1
Removed statefulModel stuff from mlx impl too
|
hai 8 meses |
|
Nel Nibcord
|
0673d6452c
Removed ensure_session to clean stuff up. May revisit later
|
hai 8 meses |
|
Nel Nibcord
|
6aaea8c74c
Abstract load checkpoint method
|
hai 8 meses |
|
Nel Nibcord
|
2a3a2e5e67
circular include lol
|
hai 8 meses |
|
Nel Nibcord
|
0c5762d18a
Node rename
|
hai 8 meses |
|
Nel Nibcord
|
c2332e2478
Moved nodes around
|
hai 8 meses |
|
Nel Nibcord
|
763fbf8486
Updated node refs
|
hai 8 meses |
|
Nel Nibcord
|
59af2dd592
Do we need casting here?
|
hai 8 meses |
|
Nel Nibcord
|
b22c21ac16
Some session method cleanup
|
hai 8 meses |
|
Nel Nibcord
|
98edb393b2
Initialize inference engine session in base class
|
hai 8 meses |
|
Nel Nibcord
|
bcf87e79b7
Okay let's turn no_grad back on. We'll worry about that when tinygrad training works
|
hai 8 meses |
|
Nel Nibcord
|
b7bbda3348
Removed tinygrad StatefulModel class, as it's no longer used
|
hai 8 meses |
|
Nel Nibcord
|
67f5ae25a5
Fixing tinygrad model
|
hai 8 meses |
|
Nel Nibcord
|
bfa3b36be5
Fixing tinygrad model
|
hai 8 meses |
|
Nel Nibcord
|
37a75d6b96
Fixing tinygrad model
|
hai 8 meses |
|
Nel Nibcord
|
0d3abfca95
Made models save properly
|
hai 8 meses |
|
Nel Nibcord
|
9283f6d7bd
Correct loss propagation so we can see the actual loss instead of just the requestor shard's loss
|
hai 8 meses |
|
Nel Nibcord
|
9eadee310b
Basic model saving
|
hai 8 meses |
|
Nel Nibcord
|
38e368f00b
Fixed up the ops so that batches work
|
hai 8 meses |
|
Nel Nibcord
|
dd3d99043b
Working distributed training
|
hai 8 meses |
|
Nel Nibcord
|
175ebc1c42
Coordination biz
|
hai 8 meses |
|
Nel Nibcord
|
3e869051f6
Okay we should probably await the update
|
hai 8 meses |
|
Nel Nibcord
|
75c8650f1f
Naive network-propagated loss implementation on MLX
|
hai 8 meses |
|
Nel Nibcord
|
836856824e
WIP: Training works on mlx
|
hai 8 meses |
|
Nel Nibcord
|
a6fd7a3430
Generalizing some of the dataset biz while also creating uniform batches
|
hai 8 meses |
