Преглед изворни кода

use the smallest possible model as the default_model

Mukund Mauji пре 9 месеци
родитељ
комит
9987ce840e
1 измењених фајлова са 1 додато и 1 уклоњено
  1. 1 1
      exo/api/chatgpt_api.py

+ 1 - 1
exo/api/chatgpt_api.py

@@ -163,7 +163,7 @@ class ChatGPTAPI:
     self.prompts: PrefixDict[str, PromptSession] = PrefixDict()
     self.prev_token_lens: Dict[str, int] = {}
     self.stream_tasks: Dict[str, asyncio.Task] = {}
-    self.default_model = "llama-3.1-8b"
+    self.default_model = "llama-3.2-1b"
 
     cors = aiohttp_cors.setup(self.app)
     cors_options = aiohttp_cors.ResourceOptions(