针对汽车座舱内的驾驶员行为识别任务，本文提出了一种基于双分支神经网络的识别方法。网络模型的主分支以ResNet 50作为主干网络进行特征提取，利用可变形卷积使模型适应驾驶员在图像中的形状和位置变化。辅助分支在梯度反向传播过程中辅助更新主干网络的参数，使主干网络能够更好地提取有利于驾驶员行为识别的特征，从而提高模型的识别性能。网络模型在State Farm 公开数据集的消融实验和对比实验结果表明：本文网络模型的识别准确率可以达到96.23%，针对易于混淆的行为类别识别效果更佳。研究结果对于汽车座舱内的驾驶员行为理解与保障行车安全具有重要意义。