Der gebürtige Berliner absolvierte am "Grauen Kloster" das Abitur und studierte in Berlin und Marburg Klassische Philologie. 1931 wurde er in Marburg habilitiert. Da er mit einer Frau jüdischer Herkunft verheiratet war, wurde ihm von 1933 an eine akademische Karriere verunmöglicht. 1935 erhielt er auf Empfehlung des Philologen Eduard Norden einen Ruf nach Ankara. An der dortigen sich im Aufbau befindlichen Universität  – sie wurde erst 1946 offiziell eröffnet – gründete er das Institut für Klassische Philologie. Während dieser Zeit schloss Rohde Freundschaft mit dem ebenfalls in die Türkei emigrierten Ernst Reuter.

1949 kam Rohde als erster Professor für Klassische Philologie an die neugegründete Freien Universität Berlin, an der er bis zu seinem Tode 1960 tätig war.