Die Vorgeschichte des Reiches beginnt im Jahre 814 n. Chr. als ganz Mitteleuropa (u.a. ein Großteil des heutigen Frankreich und Deutschland) zum Machtbereich des Fränkischen Reichs unter Karl dem Großen gehören.
Als dieser nach fast fünfzigjähriger Herrschaft im genannten Jahr verstarb, sollte das Reich nach fränkischer Tradition unter seinen drei Erben aus dem Hause der Karolinger aufgeteilt werden. Dennoch gelang es seinem Sohn Ludwig dem Frommen, der zum Kaiser gekrönt wurde, die Einheit des Reiches zu bewahren und ein Gesetz zu erlassen, welches statt der zukünftigen Reichsteilung ein Erbe an den Erstgeborenen vorsah. In diesem Einheitsgesetz, der so genannten "Ordinatio imperii" wurde das Ideal eines einigen Christentums unter einem Herrscher verfolgt, wodurch die Unterstützung der Kirche gewiss war.

Mit diesem Vorgehen und der Bestrebung seinem Sohn Karl aus zweiter Ehe "Schwaben als Teilreich" zu geben, zog er bald den Zorn seiner drei älteren Söhne auf sich, was in den Jahren 830 und 833 sogar zweimal zu seiner Entmachtung führte. Dennoch konnte er immer wieder auf den Thron zurückkehren, bis er schließlich im Jahre 840, nach einem Feldzug gegen seinen Sohn Ludwig den Deutschen, an Krebs starb.

Nachdem bereits zwei Jahre zuvor einer der Söhne aus erster Ehe verstorben war, hätte das Erbe nun einfach auf drei Schultern verteilt werden können, wenn nicht der erstgeborene Lothar nun die Macht für sich beansprucht hätte. Allerdings wurde er bereits ein Jahr später von seinen beiden jüngeren Brüdern in der Schlacht von Fontenoy besiegt und so zu Verhandlungen über das Erbe gezwungen.
So kam es schließlich am 10. August 843 zum Vertrag von Verdun der eine Teilung des Machtbereiches in folgende drei Teile vorsah:

- Ostfrankenreich unter Ludwig dem Deutschen (Vorgänger des HRR)
- Mittelreich (Lotharii Regnum) unter Lothar I.
- Westfrankenreich unter Karl dem Kahlen (Vorgänger des heutigen Frankreich)


Karte der 843 n.Chr. vollzogenen Reichsteilung aus einem Atlas von 1895
(Dieses Bild ist gemeinfrei und nicht urheberrechtlich geschützt)

Trotz der faktischen Trennung in drei Machtbereiche wurde das Reich, zumindest vorerst, weiterhin als gemeinsames Herrschaftsgebiet der Karolinger angesehen, in dem die Regierungsgewalt lediglich innerhalb der Familie aufgeteilt wurde.
Ausserdem hatten die im Vertrag festgesetzten Grenzen nur kurzen Bestand, da das Mittelreich bereits nach dem Tod Lothars im Jahre 855 weiter zerfiel und der nördliche Teil (Lothringen) im Jahre 880 an das Ostfrankenreich angegliedert wurde.

Mit Karl III. (auch Karl der Dicke) wurde am 12. Februar 881 nochmals ein Kaiser über das gesamte Karolingerreich gekrönt. Ihm gelang auf seinem Höhepunkt sogar die kurzfristige Wiedervereinigung des West- mit dem Ostfrankenreich. Allerdings war es ihm während seiner Regierungszeit nicht gelungen den plündernden Normannen effektiv zu begegnen und so verlor er seine Macht über das Ostfrankenreich bereits 887 bis er kurze Zeit später verstarb. Sein Tod stellt das endgültige Ende des Fränkischen bzw. des Karolingerreiches dar.
Von nun an zerfiel das ehemalige Großreich in mehrere kleine Herrschaftsbereiche wie Herzogtümer und Grafschaften, was besonders für das Mittelreich das Ende bedeutete. Im Ostfränkischen Reich, welches sich alsbald zum Heiligen Römischen Reich deutscher Nation entwickeln sollte, konnte dieses Schicksal durch die Wahl Konrads I. zum gemeinsamen König verhindert werden. Der Herrscher des Ostreiches wurde schon im frühen 10. Jahrhundert nicht mehr durch das Erbe innerhalb einer Dynastie bestimmt, sondern durch Herzöge und Adelige gewählt.

921 n. Chr. wurde im Vertrag von Bonn festgelegt, dass der Ost- und der Westfränkische Herrscher gleichberechtigt waren womit das Ostfränkische Reich endgültig als eigenständiges Staatsgebilde angesehen werden konnte, auch wenn sich dort kein Nationalstaat mit Zusammengehörigkeitsgefühlt und einheitlicher Sprache entwickeln konnte.

Am 2. Juli 936 bestieg Otto I. den Thron des Ostfrankenreiches und gelobte der Kirche seinen Schutz. Unter seiner Herrschaft gelang es im Jahre 955 die, seit Jahren plündernd durch das Land ziehenden, Ungarn auf dem Lechfeld (nahe Augsburg) zu besiegen und ein für allemal aus dem Reich zu vertreiben. Nach diesem Sieg rief ihn Papst Johannes XII. nach Rom um ihm als Beschützer der Kirche die Kaiserkrone anzubieten. Er sah nun das östliche Reich als Nachfolger des Kaisertums unter Karl dem Großen und als Fortsetzung der römischen Kultur.
Die Kaiserkrönung von Otto I. am 2. Februar 962 gilt als die Geburtsstunde des Heiligen Römischen Reiches.