众核处理器—原理、设计与优化

本书着重介绍众核处理器，重点关注架构优化、存储优化、运算资源优化、通信优化以及能耗与温度优化等方面的关键技术。

从计算、存储、通信三方面介绍众核处理器架构的设计与优化技术，基于存储机制、存储层次结构、共享和私有Cache以及片上网络通信机制等多方面详细介绍瓷片众核处理器架构，并提供瓷片众核处理器架构的优化方案。

李兆麟，清华大学长聘教授，从事异构多核/众核处理器、智能处理器、并行编程等领域研究，主持“核高基”重大专项、重点研发计划、自然科学基金等多个项目，在IEEE期刊与国际会议发表论文100多篇，出版教材2部。

王明羽，清华大学博士，中山大学助理教授，硕士生导师，从事多核/众核处理器、人工智能等领域研究，主持中国博士后科学基金，参与“核高基”重大专项等多个项目，发表学术论文10余篇。

魏少军，清华大学长聘教授，中国电子学会会士，IEEE Fellow，国家集成电路产业发展咨询委员会委员，“核高基”国家科技重大专项技术总师，中国半导体行业协会副理事长，集成电路设计分会理事长，从事超大规模集成电路设计方法学、数字系统高层次综合、嵌入式系统、可重构计算芯片等领域研究，发表论文200多篇，出版专著5部。

目录

第1章绪论

1.1处理器发展概述

1.2众核处理器简介

1.3指令调度技术

1.4片上网络通信技术

1.5能耗优化技术

1.6小结

参考文献

第2章众核处理器架构

2.1处理器架构概述

2.2瓷片众核处理器架构

2.3存储机制

2.3.1存储层次结构

2.3.2共享Cache架构

2.3.3私有Cache架构

2.4互连网络

2.4.1片上网络通信机制

2.4.2片上网络延时优化技术

2.5小结

参考文献

第3章众核处理器存储优化

3.1存储层次结构

3.2Cache优化技术

3.3存储结构优化设计

3.3.1自适应共享Cache结构

3.3.2自适应私有Cache架构

3.4互连网络与Cache协同设计

3.4.1片上网络延时优化设计

3.4.2片上网络与自适应Cache的协同设计

3.5小结

参考文献

第4章处理器核运算资源优化

4.1流处理器

4.2流程序的核心映射和调度

4.3运算资源利用率优化技术

4.3.1同构多线程与核心联合

4.3.2运算单元高利用率调度

4.4利用率感知的核心映射和调度技术

4.4.1众核流处理架构建模

4.4.2核心映射与调度优化

4.5小结

参考文献

第5章基于片上网络的通信优化

5.1片上网络混合策略

5.2片上网络延时和能耗建模

5.3片上网络延时优化技术

5.3.1虚拟电路交换片上网络路由器

5.3.2混合虚拟电路路径分配算法

5.4片上网络众核编译框架协同设计

5.4.1众核编译框架总体设计

5.4.2可执行代码编译生成

5.5小结

参考文献

第6章处理器能耗与温度优化

6.1能耗与温度优化原理

6.2处理核能耗与温度建模

6.3处理核指令编译

6.3.1漏电功耗优化调度

6.3.2温度优化的负载均衡

6.4众核任务调度优化技术

6.4.1多任务子图划分和子网分配

6.4.2启发式子任务映射

6.5小结

参考文献

前言

处理器已经进入多核与众核时代。多核与众核处理器已占85%以上的市场份额。随着高性能计算、媒体应用、人工智能、大数据以及信号处理等领域的快速发展，众核处理器正成为处理器架构的主要发展方向。例如在实时多媒体应用、信号处理、科学计算和网络领域的计算密集型应用，要求处理器必须提供非常高的计算密度和每秒几十亿次操作的性能。传统的通用架构处理器性能偏低，能耗偏高，已经不适合计算密集型应用。众核处理器能有效地利用廉价晶体管提供高密度计算，且具备可编程灵活性，因而受到了学术界和工业界越来越广泛的关注。

近年来，不同领域的应用算法越来越复杂多样，需要处理的数据量也越来越大，但某些应用不具有良好的天然并行性。这导致众核处理器即使采用仔细的任务划分进行并行计算，但是线程间频繁的通信开销也会大大削弱通过并行计算所获得的加速比收益，性能、存储、能耗问题日益严重。因此，本书共分6章，针对众核处理器重点介绍架构优化、运算资源优化、存储优化、通信优化以及能耗与温度优化等方面的关键技术进行讲解。

第1章是绪论。首先从微电子领域的摩尔定律和丹纳德缩减定律出发，论述了当前处理器的发展方向，回顾了应用的特性和处理器设计的发展历程和关系，概括了目前处理器正朝着新架构和众核化方向发展的趋势。其次，从发掘指令级并行度、提高运算资源利用率以及编程灵活性等多方面引出本书主要讨论的众核处理器。最后，对众核处理器涉及的设计难点、挑战和关键技术进行了综述。

第2章介绍众核处理器架构。首先从计算、存储、通信三方面概述了处理器架构的设计与优化技术。其次从该架构的存储机制、存储层次结构、共享和私有Cache以及片上网络通信机制等多方面详细介绍瓷片众核处理器架构。最后综述了国内外优秀研究成果，并对比其优势和缺陷，为众核处理器架构设计，尤其瓷片众核处理器架构设计与优化提供了技术方案参考。

第3章介绍众核处理器存储优化技术。首先介绍了存储层次结构和优化目标。其次系统介绍了时空局部性感知的自适应Cache设计，实现了对应用程序实际时间局部性和空间局部性的动态监控，并分别讨论了基于共享末级Cache模型和基于私有末级Cache模型的两种自适应Cache结构。最后介绍混合快速突发支持的片上网络，明显提升瓷片众核处理器的存储访问效率。

第4章介绍处理器核运算资源优化技术。首先介绍一种基于流程序同构多线程和核心联合的调度策略来提高流架构的运算单元利用率，其次介绍一种运算单元利用率感知的核心映射和调度策略， 用以提高片上网络多核流处理器的运算单元利用率，同时考虑能量消耗。

第5章介绍基于片上网络的通信优化技术。提出基于虚拟电路交换的片上网络混合策略，以及最小化通信延时和功耗的路径分配算法，并介绍片上网络众核编译框架协同设计技术。

第6章介绍众核处理器能耗与温度优化技术。讨论众核处理器能耗和温度优化的原理以及相关数学模型，分别从处理器核指令调度和众核多任务调度两方面实现了处理器能耗和温度优化。首先提出了一种面向漏电功耗和温度控制协同优化的指令编译设计流程，可以有效地实现功耗和温度的同时优化。其次提出一个基于温度管理的任务映射机制，通过平衡多任务负载实现峰值温度的最优化。最后为了减少引入额外的通信开销提出了子网格分配策略，综合考虑了当前的计算核温度、临近核的温度影响、物理位置的影响，以及通信开销，提高性能的同时避免温度优化损失。

本书偏重于介绍众核处理器的设计与优化技术，对从事众核处理器设计与实现方面的研发人员有很好的指导意义。本书的作者长期从事研究生与本科生教学与指导工作，因此本书对从事众核处理器研究的研究生也有很好的指导意义。

感谢蒋国跃博士和曹姗博士对本书撰写工作做出的极大贡献，两位博士在博士生期间的研究工作支撑了本书部分章节的撰写。李兆麟统筹规划全书结构，王明羽负责书稿撰写工作，本书的全部研究成果都是在魏少军与李兆麟共同指导下完成的。

感谢清华大学出版社的大力支持，编辑老师认真细致的工作保证了本书的质量。

由于著者水平有限，书中难免有不足之处，恳请读者批评指正！

著者

2020年10月