1912’de Kandıra’da doğdu. Aslen Ardahan'ın Posof ilçesine bağlı Erim köyündendir. Soyadını da ordan almıştır.

Balyöz lakabıyla anılır. Galatasaray Lisesi’ni, İstanbul Üniversitesi Hukuk Fakültesi’ni bitirdi. Paris Hukuk Fakültesi’nde doktora yaptı. 1939’da Ankara Üniversitesi Hukuk Fakültesi’ne kamu hukuku doçenti atandı; 1941’de profesörlüğe yükseldi. Ankara Üniversitesi Hukuk Fakültesi’ndeki kamu hukuku derslerine ek olarak Siyasal Bilgiler Okulu’nda devletler hukuku dersleri verdi. 1945-1950 arasında CHP milletvekili olarak TBMM’de bulundu; II. Hasan Saka Hükümeti’nde Bayındırlık Bakanlığı, Günaltay Hükümeti’nde başbakan yardımcılığı yaptı. CHP muhalefete geçtikten sonra partinin yayın organı Ulus’un başyazarlığını üstlendi, bu gazetenin 1953’te kapanması üzerine 1955’e kadar Yeni Ulus ve Halkçı gazetelerini çıkardı. Başbakan Menderes’in isteği üzerine Kıbrıs Cumhuriyeti anayasasının hazırlanışında görev aldı. 1961’de CHP milletvekili olarak yeniden TBMM’ye döndü.CHP içinde Bülent Ecevit'in başlattığı Ortanın Solu hareketine daha sonra CHP'den ayrılarak Cumhuriyetçi Güven Partisi'ni kuran Prof.Dr.Turhan Feyzioğlu'yla muhalefet etti.

12 Mart 1971 Muhtırası’nın ardından CHP’den ayrılması koşuluyla hükümeti kurmakla görevlendirildi. 26 Mart 1971’de kurduğu partilerüstü hükümet 3 Aralık 1971’de istifa etti. Yeniden hükümeti kurmakla görevlendirildi; kurduğu II. Erim Hükümeti 22 Mayıs 1972’ye kadar işbaşında kaldı. 1977’ye kadar Cumhuriyet Senatosu’nda kontenjan senatörü olarak görev yaptı.

Kıbrıs’la ilgili anı ve gözlemlerini Bildiğim ve Gördüğüm Ölçüler İçinde Kıbrıs adıyla 1975’te kitaplaştırdı. 19 Temmuz 1980’de İstanbul Dragos'taki evinin yakınında dev-sol militanları tarafından düzenlenen silahlı saldırı sonucu öldürüldü.