""" 深度思考的对话实现，需要多步骤的思考和校验，才能最后回答用户的问题，至多校验三次 """ import datetime from init import llm import json import json5 from full_index_search import full_search,adjust_ctx_size,jieba_fenci,full_search_logic,one_doc_search from k_database import QA #深度思考 def DS_chat(query,history): try: i=0 yield gen_event_data({"step":i,"rsp":f"{query}--检查是否需要补全或重写?"}) result =DS_chat0(query,history) new_query = deal_llm_think_json_data(result) print(new_query) yield gen_event_data({"step":i,"rsp":new_query}) seg_list = jieba_fenci(new_query) yield gen_event_data({"rsp":f"搜索关键词 {seg_list}"}) #至多三次深度回答 for i in range(1,4): for result in search_ctx_chat(new_query,seg_list): try: data = deal_llm_think_json_data(result) answer = json.loads(data) except Exception as e: print(e,data) yield gen_event_data({"step":i,"rsp":f"{data}"}) break if answer["code"]==100: #中间ixnxi yield gen_event_data({"step":i,"rsp":answer["content"]}) else: break #其它结果 if answer["code"]==200 or answer["code"]==202: yield gen_event_data({"step":i,"rsp":answer["content"]}) #QA.create(question=new_query,answer=answer["content"],ref="深度思考") return answer["content"] elif answer["code"]==201:#单个文件回答 yield gen_event_data({"step":i,"rsp":f'找到相关文件: {answer["name"]}'}) answer["question"]=new_query yield from one_doc_chat(answer) #QA.create(question=new_query,answer=answer["name"],ref="深度思考") return answer["name"] elif answer["code"]==404: yield gen_event_data({"step":i,"rsp":f'重新搜索关键字:{answer["keywords"]}'}) seg_list = answer["keywords"] else:#出错 break #end for except Exception as e : yield gen_event_data({"step":-1,"rsp":f"对话出现错误:{e}"}) if i==3: yield gen_event_data({"step":i,"rsp":"对不起,没有找到你想要的答案!"}) #QA.create(question=query,answer="对不起,没有找到你想要的答案!",ref="深度思考") return "对不起,没有找到你想要的答案!" def gen_event_data(json_data): json_str = "data: " + json.dumps(json_data) + "\n\n" return json_str.encode("utf-8") def deal_llm_think_json_data(data): #print("==============================") #print(data) #去掉思考过程 if data.find("")>=0 and data.find("")>0: end = data.find("") data = data[end+8:] if data.find("```json") >=0: begin = data.find("{") end = data.rfind("}") data = data[begin:end+1] return data #多轮对话，生成新问题 def DS_chat0(query,history): # 获取当前日期和星期 today = datetime.datetime.now() # 获取今天是星期几，使用weekday()方法（周一=0, 周日=6） weekday_number = today.weekday() system_prompt=f""" 今天是{today.strftime('%Y-%m-%d')} 星期{weekday_number+1}。 你是一个支持多轮问答的智能助手,你需要根据历史对话信息和本次问题来判断需不需改写问题，重新生成一个更加准确的问题. 并按照如下步骤来分析执行改写情况 1.特别是本次问题用他、她或它来指代历史对话中对象的情景，如果历史对话中有明确的对象，就需要用历史对话中明确的对象来本次问题的代词。 如:历史对话中有["中国的国土面积是多少",...], 本次问题是"他的人口有多少"，则需要将本次问题中的“他”换成历史对话中的“中国”，生成新的问题"中国的人口有多少" 2.如果多多条历史记录的，就用最近对话中对象来指代，如： 示例1 历史对话：["杭州是个美丽的城市","他的GDP是多少"] 本次问题: 他在2024年的常驻人口是多少 生成问题: 杭州在2024年的常驻人口是多少 示例2 历史对话：["杭州是个美丽的城市","他的GDP是多少","他在2024年的常驻人口是多少","厦门也是一个美丽的城市"] 本次问题：他的旅游忘记是什么时候 生成问题：厦门的旅游旺季是什么时候 3.其它需要改写的情况，改写后语句的关键字可以更有利于后续检索的 切记！！！不输出其它任何信息！！！ 历史对话:(时间越早排序越靠前) ``` {history} ``` 本次问题： {query} 生成问题： """ messages = [{'role': 'user', 'content': system_prompt}] response = llm.chat( messages=messages, stream=False, ) # get a new response from the model where it can see the function response return response[0]["content"] #检索上下文回答 def search_ctx_chat(query,seg_list): #全文检索相关知识 context,meta = full_search_logic(query,30,seg_list) context = adjust_ctx_size(context) count = len(context) ctx = [] for i in range(count): ctx.append({"name":meta[i][0],"path":meta[i][1],"base":meta[i][2]}) yield json.dumps({"code":100,"content":f"找到{count}个相关信息{ctx}"}) system_prompt=f""" 你是一个知识问答的助手，你可以根据提供的上下文信息来回答用户的问题，并能按如下步骤来深度思考准确回答问题: 1.首先判断上下文和问题的相关性，如果上下文足以回答问题的，按如下json格式进行输出 {{"code":200,"content":"回答的内容"}} 2.如果提供的上下文不足以准确回答信息，但某个上下文和上下文提供的文件对回答问题的相关性已经具备，需要进一步检索该文件内容来回答信息的。 可以按如下json格式回答信息 {{"code":201,"name":"对应的文件名","path":"文件路径","base":"知识库"}} 3.如果提供的上下文和文件完全不足以回答问题时，你可以调整优化问题关键字列表，让助手重新检索上下文，如： A.删除掉一些和问题相关度不高的关键字，让检索的范围变大,找到更合适的上下文 B.根据问题的情况更换、调整或生成一些新关键字，重新检索，以便更好的回答问题 C.使用更合适的同义词替换现有关键字 最后输出json格式格式如下： {{"code":404,"keywords":["关键词1","关键词2","关键词n"]}} 4.如果这个问题是一个常识性的问题，不需要上下文，只使用大模型内部知识就可以回答的，可以按如下json方式进行输出 {{"code":202,"content":"回答的内容"}} 5.一定按json格式进行输出,回答的内容中有特殊符号如"的需要进行转化为\",不要影响json的输出的格式。 上下文: ``` {context} ``` 上下文对应的文件名称和路径信息： ``` {ctx} ``` 问题： {query} 问题关键字： {seg_list} """ messages = [{'role': 'user', 'content': system_prompt}] response = llm.chat( messages=messages, stream=False, ) # get a new response from the model where it can see the function response yield response[0]["content"] def one_doc_chat(chat): query = chat["question"] context= one_doc_search(chat["question"],chat["base"],chat["name"],chat["path"]) context = adjust_ctx_size(context) system_prompt=f""" 你是一个知识问答的助手。 你可以根据提供的上下文信息来回答用户的问题,上下文中排在前面的可信度越高，越应该优先采纳。 如果提供的上下文不足以回答问题时，你可以回答'对不起，暂时没有找到相关的信息，无法回答你的问题' 上下文: ``` {context} ``` 问题： {query} """ messages = [{'role': 'user', 'content': system_prompt}] responses = llm.chat( messages=messages, stream=True, ) # get a new response from the model where it can see the function response json_str="" try: for response in responses: json_str = "data: " + json.dumps({'rsp':response[0]["content"]}) + "\n\n" yield json_str.encode("utf-8") #QA.create(question=query,answer=response[0]["content"],ref="深度思考") return response[0]["content"] except Exception as e: json_str = "data: " + json.dumps({"rsp": f"大模型运行出现错误:{e}, 请检查配置是否正确或者网络通信是否通畅!\n如果是本地大模型还请检查大模型是否正常启动!"}) + "\n\n" yield json_str.encode("utf-8")