1.Transformer

AI领域神一样的文章《Attention Is All You Need》在2017年问世,自此一改RNN的痛点,抛弃LSTM复杂的记忆机制,以纯矩阵运算的暴力美学拉开了人工智能领域的新篇章。在NLP系列博客中,我于最后一章简要地提了一下Transformer架构--事实上个人觉得,Transfor