昨天ARM發布了全新的Cortex-A78、Cortex-X1 CPU和全新的Mali-G78 GPU。同時，我們還看到了最新Ethos-N78 NPU曝光。在過去的幾年裡，機器學習加速器在行業內的爆髮式增長，不同的IP解決方案層出不窮。尤其是在移動領域，有大量不同的SoC廠商自主開發的定製解決方案，其中包括高通、海思、聯發科和三星LSI等廠商的設計。對於沒有設計能力的廠商來說，如果沒有自己的IP部署能力，還可以從ARM這樣的IP廠商那裡獲得授權。
ARM的 "Ethos "機器學習IP針對客戶端推理工作負載，最初被描述為 "Project Trillium"，第一個設計實現形式是Ethos-N77。從第一代發布到現在已經有一年了，ARM一直在為這個架構的下一個疊代而努力，這就是全新的Ethos-N78及其"Scylla "架構。
N78性能和效率上都有相當大的提升。新的設計比最大的N77配置要高得多，現在能夠在高達10TOPs的原始計算吞吐量下提供2倍的峰值性能。ARM對NPU的設計進行了改進，採用各種新的壓縮技術，每條推理的外部內存帶寬提高了40%，從而提高了N78的功耗效率。N78的強項是該IP在不同配置選項中的性能擴展能力。該IP有4個不同的性能點，或者說是4種不同的引擎配置，從最小的1TOPs配置，到2、5，再到最大的10TOPs配置。這對應的是512、1024、2048和4096個單元的MAC配置整體設。
在架構上，N78最大的改進在於它在引擎中處理數據的方式，使得新的壓縮方式，不僅可以對NPU之外的數據進行全新壓縮，提升DRAM帶寬，還可以對NPU本身內部的數據進行移動，提高了性能和功耗效率。得益於更高的性能密度和功率效率，代代性能提昇平均為25%，再加上雙倍的峰值性能配置，意味著它有可能代表著終端設性能大幅提升。
分析NPU在競爭格局中的表現如何是相當困難的，尤其是在ARM的情況下，因為我們還沒有看到第一代NPU的矽片設計。ARM提出的一個有趣的觀點是，在這個領域，軟體比其他任何東西都重要，一個糟糕的軟體棧可能會毀掉一個好的硬體設計。ARM提到，他們已經看到有廠商採用了自己的Ethos IP，並因此放棄了競爭對手的設計。ARM表示，他們在軟體方面投入了大量的資源，以方便客戶真正正確地利用他們的硬體設計。
ARM公司的新Ethos-N78已經被授權給客戶，他們正在用它進行設計，最早一批產品將在2021年華出現在公眾面前。