【DW组队学】llm-algo-leetcode 04多头注意力+20FA模拟+19激活检查点与激活卸载

目录必读04. 多头注意力20. FlashAttention 模拟扩展19. 激活检查点与激活卸载未完待续必读04. 多头注意力# TODO 1xqxq.view(batch_size,seq_len,self.num_heads,self.head_dim).transpose(1,2)xkxk.view(batch_size,seq_len,self.num_kv_heads,self.head_dim).transpose(1,2)xvxv.view(batch_size,seq_len,self.num_kv_heads,self.head_dim).transpose(1,2)完全就是第一课学到的东西只是语法可能看起来不太一样。20. FlashAttention 模拟扩展19. 激活检查点与激活卸载未完待续