本篇文章将带你了解 :冰冻三尺，非一日之寒山穷水尽疑无路，柳暗花明又一村减少主记忆体存取和搬移：GPU 双雄的选择人工智慧训练的浮点运算量（Flops）每年都大幅增长，自然语言处理（NLP）、机器视觉（CV）和语音识别学习过去十年，以 2 年 15 倍速度攀升。自从 Google 在 2017 年推出 Transformer 模型，更激增到"2 年 750 倍"。但瓶颈并非运算能力，而是记忆体的"容量"（Capacity）、"频宽"（Bandwitdh）与"延迟"（Latency），无论晶片内、晶片之间还是人工智慧加速器间通讯。本篇文章将带你了解 :冰冻三尺，非一日之寒山穷水尽疑无路，柳暗花明又一村减少主记忆体存取和搬移：GPU 双雄的选择
