近来，ChatGPT成为社会各界关注的焦点。从技术领域看，ChatGPT的爆发是深度学习领域演进、发展和突破的结果，其背后代表着Transformer结构下的大模型技术的飞速进展。因此，如何在端侧、边缘侧高效部署Transformer也成为用户选择平台的核心考量。 2023年3月，爱芯元智推出了第三代高算力、高能效比的SoC芯片——AX650N，依托其在高性能、高精度、易部署、低功耗等方面的优异表现，AX650N受到越来越多有大模型部署需求用户的青睐，并且先人一步成为Transformer端侧