Add File

main/ds_chat.py

@@ -0,0 +1,235 @@
+"""
+深度思考的对话实现，需要多步骤的思考和校验，才能最后回答用户的问题，至多校验三次
+"""
+
+
+import datetime
+from init import llm
+import json
+import json5
+from full_index_search import full_search,adjust_ctx_size,jieba_fenci,full_search_logic,one_doc_search
+from k_database import QA
+
+#深度思考
+def DS_chat(query,history):
+
+    try:
+        i=0
+        yield gen_event_data({"step":i,"rsp":f"{query}--检查是否需要补全或重写?"})
+        result =DS_chat0(query,history)
+        new_query = deal_llm_think_json_data(result)
+
+        print(new_query)
+        yield gen_event_data({"step":i,"rsp":new_query})
+
+        seg_list = jieba_fenci(new_query)
+        yield gen_event_data({"rsp":f"搜索关键词 {seg_list}"})
+
+        #至多三次深度回答
+        for i in range(1,4):
+
+            for result in search_ctx_chat(new_query,seg_list):
+                try:
+                    data = deal_llm_think_json_data(result)
+                    answer = json.loads(data)
+                except Exception as e:
+                    print(e,data)
+                    yield gen_event_data({"step":i,"rsp":f"{data}"})
+                    break
+                if answer["code"]==100: #中间ixnxi
+                    yield gen_event_data({"step":i,"rsp":answer["content"]})
+                else:
+                    break
+            #其它结果
+            if answer["code"]==200 or answer["code"]==202:
+                yield gen_event_data({"step":i,"rsp":answer["content"]})
+                #QA.create(question=new_query,answer=answer["content"],ref="深度思考")
+                return answer["content"]
+            elif answer["code"]==201:#单个文件回答
+                yield gen_event_data({"step":i,"rsp":f'找到相关文件: {answer["name"]}'})
+                answer["question"]=new_query
+                yield from one_doc_chat(answer)
+                #QA.create(question=new_query,answer=answer["name"],ref="深度思考")
+                return answer["name"]
+            elif answer["code"]==404:
+                yield gen_event_data({"step":i,"rsp":f'重新搜索关键字:{answer["keywords"]}'})
+                seg_list = answer["keywords"]
+            else:#出错
+                break
+        #end for
+    except Exception as e : 
+        yield gen_event_data({"step":-1,"rsp":f"对话出现错误:{e}"})
+
+    if i==3:
+        yield gen_event_data({"step":i,"rsp":"对不起,没有找到你想要的答案!"})
+        #QA.create(question=query,answer="对不起,没有找到你想要的答案!",ref="深度思考")
+        return "对不起,没有找到你想要的答案!"
+
+
+def gen_event_data(json_data):
+    json_str = "data: " + json.dumps(json_data) + "\n\n"
+    return json_str.encode("utf-8")
+
+
+def deal_llm_think_json_data(data):
+    #print("==============================")
+    #print(data)
+    #去掉思考过程
+    if data.find("<think>")>=0 and data.find("</think>")>0:
+        end = data.find("</think>")
+        data = data[end+8:]
+    if data.find("```json") >=0:
+        begin = data.find("{")
+        end = data.rfind("}")
+        data = data[begin:end+1]
+    return data
+    
+    
+
+#多轮对话，生成新问题
+def DS_chat0(query,history):    
+    # 获取当前日期和星期
+    today = datetime.datetime.now()
+    # 获取今天是星期几，使用weekday()方法（周一=0, 周日=6）
+    weekday_number = today.weekday()
+
+    system_prompt=f"""
+    今天是{today.strftime('%Y-%m-%d')} 星期{weekday_number+1}。
+    你是一个支持多轮问答的智能助手,你需要根据历史对话信息和本次问题来判断需不需改写问题，重新生成一个更加准确的问题.
+
+    并按照如下步骤来分析执行改写情况
+    1.特别是本次问题用他、她或它来指代历史对话中对象的情景，如果历史对话中有明确的对象，就需要用历史对话中明确的对象来本次问题的代词。
+
+    如:历史对话中有["中国的国土面积是多少",...],
+    本次问题是"他的人口有多少"，则需要将本次问题中的“他”换成历史对话中的“中国”，生成新的问题"中国的人口有多少"
+    
+    2.如果多多条历史记录的，就用最近对话中对象来指代，如：
+
+    示例1
+    历史对话：["杭州是个美丽的城市","他的GDP是多少"]
+    本次问题: 他在2024年的常驻人口是多少
+    生成问题: 杭州在2024年的常驻人口是多少
+
+    示例2
+    历史对话：["杭州是个美丽的城市","他的GDP是多少","他在2024年的常驻人口是多少","厦门也是一个美丽的城市"]
+    本次问题：他的旅游忘记是什么时候
+    生成问题：厦门的旅游旺季是什么时候
+
+    3.其它需要改写的情况，改写后语句的关键字可以更有利于后续检索的
+
+
+    切记！！！不输出其它任何信息！！！
+    
+    历史对话:(时间越早排序越靠前)
+    ```
+    {history}
+    ```
+
+    本次问题：
+    {query}
+
+    生成问题：
+    """
+    messages = [{'role': 'user', 'content': system_prompt}]
+    response = llm.chat(
+        messages=messages,
+        stream=False,
+    ) # get a new response from the model where it can see the function response
+
+    return response[0]["content"]
+
+#检索上下文回答
+def search_ctx_chat(query,seg_list):
+
+    #全文检索相关知识
+    context,meta = full_search_logic(query,30,seg_list)
+    context = adjust_ctx_size(context)
+    count = len(context)
+    ctx = []
+    for i in range(count):
+        ctx.append({"name":meta[i][0],"path":meta[i][1],"base":meta[i][2]})
+    
+    yield json.dumps({"code":100,"content":f"找到{count}个相关信息{ctx}"})
+
+    system_prompt=f"""
+    你是一个知识问答的助手，你可以根据提供的上下文信息来回答用户的问题，并能按如下步骤来深度思考准确回答问题:
+    1.首先判断上下文和问题的相关性，如果上下文足以回答问题的，按如下json格式进行输出
+            {{"code":200,"content":"回答的内容"}}
+    2.如果提供的上下文不足以准确回答信息，但某个上下文和上下文提供的文件对回答问题的相关性已经具备，需要进一步检索该文件内容来回答信息的。
+        可以按如下json格式回答信息
+            {{"code":201,"name":"对应的文件名","path":"文件路径","base":"知识库"}}
+    3.如果提供的上下文和文件完全不足以回答问题时，你可以调整优化问题关键字列表，让助手重新检索上下文，如：
+        A.删除掉一些和问题相关度不高的关键字，让检索的范围变大,找到更合适的上下文
+        B.根据问题的情况更换、调整或生成一些新关键字，重新检索，以便更好的回答问题
+        C.使用更合适的同义词替换现有关键字
+        最后输出json格式格式如下：
+            {{"code":404,"keywords":["关键词1","关键词2","关键词n"]}}
+    4.如果这个问题是一个常识性的问题，不需要上下文，只使用大模型内部知识就可以回答的，可以按如下json方式进行输出
+        {{"code":202,"content":"回答的内容"}}
+
+    5.一定按json格式进行输出,回答的内容中有特殊符号如"的需要进行转化为\",不要影响json的输出的格式。
+
+    上下文:
+    ```
+    {context}
+    ```
+
+    上下文对应的文件名称和路径信息：
+    ```
+    {ctx}
+    ```
+    
+    问题：
+    {query}
+
+    问题关键字：
+    {seg_list}
+
+    """
+    messages = [{'role': 'user', 'content': system_prompt}]
+
+    
+    response = llm.chat(
+        messages=messages,
+        stream=False,
+    ) # get a new response from the model where it can see the function response
+
+    yield response[0]["content"]
+ 
+
+def one_doc_chat(chat):
+    query = chat["question"]
+    context= one_doc_search(chat["question"],chat["base"],chat["name"],chat["path"])
+
+    context = adjust_ctx_size(context)
+    
+    system_prompt=f"""
+    你是一个知识问答的助手。
+    你可以根据提供的上下文信息来回答用户的问题,上下文中排在前面的可信度越高，越应该优先采纳。
+    如果提供的上下文不足以回答问题时，你可以回答'对不起，暂时没有找到相关的信息，无法回答你的问题'
+    
+    上下文:
+    ```
+    {context}
+    ```
+
+    问题：
+    {query}
+
+    """
+    messages = [{'role': 'user', 'content': system_prompt}]
+    responses = llm.chat(
+        messages=messages,
+        stream=True,
+    ) # get a new response from the model where it can see the function response
+    json_str=""
+    try:
+        for response in responses:
+            json_str = "data: " + json.dumps({'rsp':response[0]["content"]}) + "\n\n"
+            yield json_str.encode("utf-8")
+
+        #QA.create(question=query,answer=response[0]["content"],ref="深度思考")
+        return response[0]["content"]
+    except Exception as e:
+        json_str = "data: " + json.dumps({"rsp": f"大模型运行出现错误:{e}, 请检查配置是否正确或者网络通信是否通畅!\n如果是本地大模型还请检查大模型是否正常启动!"}) + "\n\n"
+        yield json_str.encode("utf-8")