Die Geschichte des Archivs beginnt bereits mit der Bistumsgründung durch Kaiser Heinrich II. im Jahre 1007. Von diesem Zeitpunkt an wurde ein bischöfliches Urkundenarchiv aufgebaut, das den gesamten schriftlichen Niederschlag der Bistumsverwaltung aufnahm. Um das Jahr 1400 erfolgte eine inhaltliche Trennung des Archivgutes in ein Archiv des Domstifts und dasjenige des Domkapitels. Neben diesem "Domkapitelschen Archiv" entstand Ende des 13. Jh. ein "Archiv der bischöflichen Kanzlei", in dem jenes Schriftgut aufbewahrt wurde, das aus der Tätigkeit des Bischofs als Landesherr im Hochstift Bamberg erwuchs. Beide Archive, das "Domkapitelische" und das "Archiv der bischöflichen Kanzlei", gelangten bei der Säkularisation in staatlichen Besitz und werden seither im Staatsarchiv Bamberg aufbewahrt.
Das Mitte des 15. Jh. angelegte Archiv des Generalvikariates der Diözese wurde 1803 zerrissen. Die Protokollbände und Teile der Vikariatsregistratur verblieben in kirchlichem Besitz. Die zugehörigen Vikariatsakten kamen ins Königliche Archiv, heute Staatsarchiv Bamberg.
Heute gliedert sich das Archiv des Erzbistums Bamberg in zwei große Abteilungen: Die ältere umfaßt die im kirchlichen Besitz verbliebenen Archive der kirchlichen Oberbehörden des Fürstbistums Bamberg bis zu seiner Auflösung im Zuge der Säkularisation. Die jüngere die Registraturen aller kirchlichen Behörden des in den Jahren 1817/21 ins Leben gerufenen Erzbistums Bamberg.
Was die Standorte anbelangt, hat das Archiv seit der Säkularisation eine kleine Odyssee hinter sich, ehe es – dem Konkordat gemäß – im Kapitelshaus unmittelbar neben dem Dom untergebracht werden konnte. 1974 erfolgte dann der Umzug in die Gebäude des Erzbischöflichen Ordinariats (Domplatz 2). Seit dem Herbst 2001 schließlich befindet sich das Archiv des Erzbistums Bamberg in einem Neubau am Regensburger Ring.