Flash Attention
是一种基于硬件设计的注意力加速策略,原始论文
FlashAttention:
Fast and Memory-Efficient Exact Attention with IO-Awareness。
机器视觉之基本概念
主要记录机器视觉领域的一些基本概念及一些实践中的tricks。
点云内存布局
点云数据可采用两种基本布局:结构体数组 (AoS, Array of Structures) 和 数组结构 (SoA, Structure of Arrays)。
奇异值分解
奇异值分解(Singular Value Decomposition,SVD)是线性代数中一种重要的矩阵分解方法,区别于只适用于实对称矩阵的特征分解方法,奇异值分解可对任意实矩阵进行分解。