kodaiさんが書かれているようにまずはキューの溜まり具合を確認してください。

書かれている現象について、良くある原因として大別すると、(1)mysqlの負荷が限界になっている、か(2)pollerプロセスが足りない、ことが多いです。

ここからはかなり推測になりますが、私は(1)ではないかと思っています。
CPU使用率50%と書いていますが、CPUが2コアで、片方のコアがMySQLプロセスによって100%使用されているのではないでしょうか？
MySQLはほとんどの処理は1コアで動作するので、50%だとしても処理は限界に来ています。
psコマンドでMySQLプロセスがどの程度CPUを使用しているか調べて見てください。

上記の改善策としては、MySQLへのメモリ割り当てを増やすことになります。
『スワップメモリも物理メモリ2Gの2倍にしています。』と書かれていますが、my.cnfでMySQLへのメモリ割り当ての設定もされてますか？
設定していない場合は innodb_buffer_pool_size にマシン環境の70%程度を割り当ててください。

よろしくお願いします。