Сблъсках се със същия проблем, когато инсталирах mysql2-0.3.21 на Mac pro.
По-долу споменатото решение работи за мен (изпълнете посочените по-долу 3 команди в терминала, сочещи към папката на вашия проект):
brew install mysql
gem install mysql2 -v '0.3.21' -- --srcdir=/usr/local/mysql/include
bundle install