Да, склоняются обе части в наименованиях со словом река, Москва-река, Москвы-реки, на Москве-реке и др. Но в разговорной речи встречаются случаи несклоняемости первой части этих сочетаний: за Москва-рекой, на Москва-реке, по Москва-реке и т. д. Ф. Л. Агеенко Словарь собственных имён русского языка.
P.S. всегда москвичи говорят по Москва-реке. Так легко определить москвич Ваш собеседник или нет.
А ещё. Москвачи говорят Москварика. Булошная, дождь. Шаболская. Стрелку Садовничьего острова никогда не называют развилкой реки, а Храм Христа Спасителя не называют хахаэсом.
Ф. Л. Агеенко
Словарь собственных имён русского языка.
P.S. всегда москвичи говорят по Москва-реке. Так легко определить москвич Ваш собеседник или нет.