소스 검색

check if inference_engine has tokenizer before printing with it

Alex Cheema 9 달 전
부모
커밋
1e1e11cdc6
1개의 변경된 파일1개의 추가작업 그리고 1개의 파일을 삭제
  1. 1 1
      main.py

+ 1 - 1
main.py

@@ -36,7 +36,7 @@ server = GRPCServer(node, args.node_host, args.node_port)
 node.server = server
 api = ChatGPTAPI(node, inference_engine.__class__.__name__)
 
-node.on_token.register("main_log").on_next(lambda _, tokens , __: print(inference_engine.tokenizer.decode(tokens) if inference_engine.tokenizer else tokens))
+node.on_token.register("main_log").on_next(lambda _, tokens , __: print(inference_engine.tokenizer.decode(tokens) if hasattr(inference_engine, "tokenizer") else tokens))
 
 async def shutdown(signal, loop):
     """Gracefully shutdown the server and close the asyncio loop."""