In den 1930er Jahren lebten etwa 700 Armenier in Deutschland. Der erste armenische Geistliche, der im 20. Jahrhundert in Deutschland seine seelsorgerische Tätigkeit aufnahm, war Erzarchimandrit Grigor Shahlamian, der 1922 als Theologiestudent nach Deutschland kam. Nach seinem Studium betreute er die ansässigen Armenier von 1926 bis 1945 von Berlin aus und danach bis zu seinem Tod am 21. Februar 1952 von Stuttgart aus. Zwischen 1945 und 1948 war auch ein anderer armenischer Geistlicher, Erzpfarrer Vahan Askarian, als Gemeindepfarrer in Stuttgart und Esslingen tätig. Nach dem Ableben von Erzarchimandrit Shahlamian blieben die Armenier bis 1965 ohne ständigen Gemeindepfarrer. Dennoch waren sie kirchlich unter der Jurisdiktion des Patriarchal-Delegats für Westeuropa mit Sitz in Paris organisiert, der auf Bitten der Armenier gelegentlich einen armenischen Geistlichen aus Paris nach Deutschland schickte.

1965 kam der spätere Primas der Diözese der Armenischen Kirche in Deutschland, Erzbischof Karekin Bekdjian, damals noch Archimandrit, als Student nach Deutschland, wo er bis 1972 blieb. In dieser Zeit feierte er mit Genehmigung des Patriarchal-Delegats für Westeuropa und auf Wunsch der hier ansässigen Armenier Gottesdienste in Köln, Stuttgart, Hamburg, Frankfurt und in einigen anderen Städten Deutschlands. Parallel zu ihm und ebenso danach besuchte auch der Wiener Erzarchimandrit Mesrop Grigorian oft Deutschland und zelebrierte Gottesdienste hauptsächlich in Berlin. In diesem Zeitraum begannen die Armenier, in Deutschland eigene Gemeindestrukturen zu bilden. Auf Anordnung des Katholikos Aller Armenier, S. H. Wasken I. (1955–1994), kam 1975 Archimandrit Karekin Nersisian (heute Oberster Patriarch und Katholikos Aller Armenier), nach Deutschland und übernahm bis zu seiner Rückkehr nach Armenien 1978 die seelsorgerische Betreuung der Armenier in der Bundesrepublik. Nach ihm kam Archimandrit Hagop Keledjian (heute Erzbischof, Primas der Armenischen Kirche in Uruguay) nach Deutschland, der zwischen 1978 und 1983 die hiesigen armenischen Gemeinden betreute.

Am 2. Januar 1980 stellte Wasken I. mit einer offiziellen Enzyklika die armenischen Kirchengemeinden in Deutschland unter die Jurisdiktion des neu entsandten Patriarchal-Delegats für Mitteleuropa (Österreich, Deutschland, Skandinavische Länder) mit Sitz in Wien. Seitdem nahmen auch Erzarchimandrit Vazken Tatoyan (1980–1984, verstorben), Bischof Davit Sahagian als Gastpfarrer (1983–1985, verstorben), Erzpfarrer Hagop Geuktchian (1986–1998, verstorben), Archimandrit Komitas Hovnanyan (1987–1999, heute in Frankreich) die seelsorgerische Tätigkeit für die Armenier in Deutschland wahr.

1992 hat der damalige Oberste Patriarch und Katholikos Aller Armenier Wasken I. durch eine offizielle Enzyklika auch eine Diözese in der Bundesrepublik Deutschland mit Sitz in Köln gegründet, der Erzbischof Karekin Bekdjian vorstand. Neben ihm waren fünf weitere Geistliche tätig. Über die Diözese hinaus gibt es in Deutschland auch andere, teils kulturelle (etwa 20), teils kirchliche (etwa 15) Vereine bzw. Gemeinden. Diese letzteren unterstehen der Diözese der Armenischen Kirche in Deutschland, die deren Zusammenarbeit organisiert. Es wurde eine Diözesansatzung auf Grund der kanonischen Ordnungen und der demokratischen Verwaltung der Armenischen Kirche erarbeitet.

Nach der Emeritierung von Erzbischof Karekin Bekdjian im Januar 2018 wurde H. H. Archimandrit Serovpé Isakhanyan am Sonntag, 15. April 2018, durch die außerordentlich einberufene Diözesan-Delegierten-Versammlung in Köln, zum neuen Primas der Armenischen Diözese in Deutschland gewählt. Er wurde am 12. Mai 2019 zum Bischof geweiht.