ks研究某短视频的数据采集

1.写在前面2.加密分析3.算法还原【作者介绍】目前正在从事爬虫。一路走来长期坚守并致力于Python与爬虫领域研究与开发工作有感兴趣的朋友可以相互学习交流。最近研究某短视频的数据采集发现在了其中有参数加密(sig,__NStokensig,__NS_sig3)⚠️前言⚠️本文仅用于学术交流。学习探讨逆向知识欢迎私信共享学习心得。如有侵权联系博主删除。请勿商用否则后果自负。接口网址https://apijs.ksapisrv.com/rest/n/search/new?earphoneMode1modHUAWEI%28PE-TL10%29appver11.2.40.30222isplanguagezh-cnud0did_tag0egidDFPB87C66156D77E30A5502A6390A2930485545AF2230A10059912B95CD90742thermal10000netWIFIkcv1507app0kpfANDROID_PHONEbottom_navigationfalsever11.2oDidANDROID_e3f7ad375496ce02android_os0boardPlatformbengalkpnKUAISHOUnewOcALI_CPD%2C666androidApiLevel30slh0country_codecnnbh44hotfix_verdid_gt1717558253520keyconfig_state2cdid_tag7sysANDROID_11max_memory256cold_launch_time_ms1717558253520ocALI_CPD%2C666sh2340deviceBit0browseType4ddpi2400socNameUnknownis_background0cALI_CPD%2C666sw1080fttabiarm32userRecoBit0device_abiarm64totalMemory7737grant_browse_typeAUTHORIZEDiuidrdidANDROID_e3f7ad375496ce02sbh78darkModefalsedidANDROID_e3f7ad375496ce02sig93680fb875f441f1fb46329ecd833a2b__NS_sig3d6c7b794f1cb91309e9e9d9c8abc6d0b6a5ddae2828f8197sig参数我们可以发现sig参数是通过url里面的一些内容通过获取key,value的形式得到然后再进行MD5加密得到的结果__NStokensig参数分析发现是通过得到sig参数后还有一个加盐值(salt)通过sha256加密后就可以得到这个加密结果__NS_sig3参数可能就比较复杂后面通过长时间的研究终于搞定发现是通过hmac_sha256aes等算法直接上图展示最后不需要登录也可以返回数据所以采集的时候也不需要__NStokensig参数也可以正常返回数据