소스 검색

chore: include `accelerate` dependency

Timothy Jaeryang Baek 4 달 전
부모
커밋
914eb49767
3개의 변경된 파일4개의 추가작업 그리고 2개의 파일을 삭제
  1. 2 2
      backend/open_webui/routers/retrieval.py
  2. 1 0
      backend/requirements.txt
  3. 1 0
      pyproject.toml

+ 2 - 2
backend/open_webui/routers/retrieval.py

@@ -150,8 +150,8 @@ def get_rf(
                     device=DEVICE_TYPE,
                     trust_remote_code=RAG_RERANKING_MODEL_TRUST_REMOTE_CODE,
                 )
-            except:
-                log.error("CrossEncoder error")
+            except Exception as e:
+                log.error(f"CrossEncoder: {e}")
                 raise Exception(ERROR_MESSAGES.DEFAULT("CrossEncoder error"))
     return rf
 

+ 1 - 0
backend/requirements.txt

@@ -54,6 +54,7 @@ elasticsearch==8.17.1
 
 transformers
 sentence-transformers==3.3.1
+accelerate
 colbert-ai==0.2.21
 einops==0.8.1
 

+ 1 - 0
pyproject.toml

@@ -61,6 +61,7 @@ dependencies = [
 
     "transformers",
     "sentence-transformers==3.3.1",
+    "accelerate",
     "colbert-ai==0.2.21",
     "einops==0.8.1",