Сблъсках се с този проблем с контейнер на debian. Това, което поправи, беше инсталирането на всеки пакет с отделни команди. Така че вместо
RUN apt-get install -y python-pip libmysqlclient-dev
направи
RUN apt-get install -y python-pip
RUN apt-get install -y libmysqlclient-dev
