最近，基于深度神经网络的几种模型在单图像超分辨率的重建精度和计算性能方面取得了显著成功。在这些方法中，低分辨率（LR）输入图像通常通过单一滤波器（通常是双三次插值）放大到高分辨率（HR）空间，然后再进行重建。这意味着超分辨率（SR）操作是在HR空间中执行的。我们证明了这种方法次优且增加了计算复杂度。本文提出了一种能够在单个K2 GPU上实现实时1080p视频超分辨率的卷积神经网络（CNN）。为了实现这一目标，我们设计了一种新颖的CNN架构，在该架构中特征图是在LR空间中提取的。此外，我们引入了一种高效的子像素卷积层，该层学习一系列放大滤波器，将最终的LR特征图放大为HR输出。通过这种方式，我们将SR流程中的手工设计的双三次滤波器替换为针对每个特征图专门训练的更复杂的放大滤波器，同时降低了整体SR操作的计算复杂度。我们使用公开数据集中的图像和视频对所提出的方案进行了评估，并显示其性能显著优于先前基于CNN的方法（图像提升+0.15 dB，视频提升+0.39 dB），并且速度提高了近一个数量级。