ако използвате rvm/без rvm (просто използвайте sudo), моля, използвайте следната команда, която решава проблемите.
rvmsudo ARCHFLAGS="-arch x86_64" gem install mysql2 -- --with-mysql-config=/usr/local/mysql/bin/mysql_config --with-opt-lib=/usr/local/mysql/lib