В 1931 году пленумом ЦК ВКП (б) было принято решение о строительстве канала Москва-Волга. Вновь ставшая столицей теперь уже советского государства Москва, крупный промышленный город с полуторамиллионным населением, остро нуждалась в воде. Обводнение Москвы-реки путем соединения с верховьем Волги позволяло решить эту проблему.
В 1932 году был разработан проект переустройства главной транспортной артерии Советского Союза «Большая Волга». Глубоководный путь от северных промышленных областей страны к сельскохозяйственному югу был важен и для укрепления военной мощи молодого государства. В те годы по Волге ежегодно транспортировалось 33 миллиона тонн грузов, в том числе и для военной промышленности. Каскад подпирающих друг друга гидроузлов обеспечивал необходимые для навигации отметки, регулировал сток Волги, избавляя приволжские города от наводнений, обеспечивал ирригацию и выработку электроэнергии.
Разработками гидротехнической реконструкции Волги занимались различные ведомства, выдвигалось множество проектов, среди специалистов шли дискуссии о количестве и основных параметрах входящих в каскад гидроузлов. В марте 1932 года решением союзного Совнаркома был принят проект строительства двух гидроузлов на Волге: первого в районе Ярославля для Ивановской промышленной области, (Ярославль в те годы входил в Ивановскую область) и второго в районе Балахны для Горьковской области. Однако детализация проекта показала, что Ярославский гидроузел будет иметь малую регулирующую емкость водохранилища, что приводило бы к остановке ГЭС в период половодий и паводков. Строительство остановили.
По новому проекту Москваволгостороя предполагалось перенести ГЭС в район Рыбинска, а вместо планируемых Мышкинского и Калязинского гидроузлов построить один — Угличский. Этот проект выгодно отличался от предыдущих, поскольку давал больше возможностей для судоходства и выработки электроэнергии.
Созданная при Госплане экспертная комиссия утвердила новую схему Волжского каскада. 14 сентября 1935 года Центральный комитет ВКП (б) и Совнарком СССР приняли постановление «О строительстве гидроузлов в районе Углича и Рыбинска». В короткий срок гидростроителям предстояло освоить только на двух гидроузлах мощности, равные половине всех гидроэнергетических мощностей, предусмотренных планом ГОЭЛРО на 15 лет.
Для строительства Рыбинской и Угличской ГЭС создали специализированную организацию — Волгострой НКВД, ориентированную на преимущественное использование труда заключенных. При Волгострое 7 октября 1936 года был образован Волголаг.
В связи с приостановкой работ по строительству станции, 24 февраля 1942 года Волголаг был отделен от Волгостроя и реорганизован в Рыбинский исправительно-трудовой лагерь (ИТЛ) значительно меньшей численности. Всего на строительстве Рыбинской ГЭС было выполнено 34 млн. м³ земляных работ, уложено 1,533 млн. м³ бетона, смонтировано 36,2 тыс. т металлоконструкций; для сравнения, при строительстве Днепрогэс было выполнено 8 млн. м³ земляных работ и уложено 1,2 млн. м³ бетона.
На момент строительства Рыбинская ГЭС была крупнейшей по мощности гидроэлектростанцией (330 МВт) в РСФСР и второй в СССР, уступая лишь Днепрогэс (ее мощность в то время составляла 560 МВт). Также она являлась крупнейшей ГЭС в СССР и в мире, построенной на нескальном основании.
В начале 30-х годов XX века Рыбинск начал быстро расти, превращаясь из торгового в промышленный. Существенную роль играл речной порт и связанные с ним склады, в том числе хлебные элеваторы.
Строительство гидроэлектростанции дало Рыбинску невиданной силы импульс к развитию. Появились новые промышленные предприятия, развернулось жилищное строительство, произошло обустройство рабочего поселка, наладилось железнодорожное и шоссейное сообщение с близлежащими населенными пунктами.
Население города Рыбинска, в 1931 году составлявшее около семидесяти тысяч человек, к 1939 году возросло практически в два раза и приблизило к ста пятидесяти тысячам.
Помимо основных сооружений гидроузла, важным сооружением, входящим в программу работ Волгостроя, был Рыбинский городской мост. Он должен был стать первым городским мостом через Волгу.