Cuda Stream流并发如何实现高效多任务处理？

本文共计710个文字，预计阅读时间需要3分钟。

CUDA中的Stream概述，用于CUDA程序处理海量数据，内存带宽常成瓶颈。在Stream的帮助下，CUDA程序可高效并行执行内存读写和数值运算，显著提升性能。

简述

介绍CUDA里面Stream的概念，用到CUDA的程序一般需要处理海量的数据，内存带宽经常会成为主要的瓶颈。在Stream的帮助下，CUDA程序可以有效地将内存读取和数值运算并行，从而提升数据的吞吐量。

内容

一般cuda流程

由于GPU和CPU不能直接读取对方的内存，CUDA程序一般会有一下三个步骤：1）将数据从CPU内存转移到GPU内存，2）GPU进行运算并将结果保存在GPU内存，3）将结果从GPU内存拷贝到CPU内存。如果不做特别处理，那么CUDA会默认只使用一个Stream（Default Stream）

默认stream流并发

1.将数据拆分称许多块，每一块交给一个Stream来处理。

2.每一个Stream包含了三个步骤：1）将属于该Stream的数据从CPU内存转移到GPU内存，2）GPU进行运算并将结果保存在GPU内存，3）将该Stream的结果从GPU内存拷贝到CPU内存。

3.所有的Stream被同时启动，由GPU的scheduler决定如何并行。