Neben dem Anlaufvektor, also der Wahrscheinlichkeit, mit der wir zu Beginn des Spiels in die fünf Zustände starten, interessiert uns im Folgenden, mit welcher Wahrscheinlichkeit wir nach mehrmaligem Würfeln bzw. am Ende des Spiels gewonnen oder verloren haben.

Dazu untersuchen wir die Wahrscheinlichheit , mit der der Craps-Spieler durch Würfeln vom Zustand in den Zustand gelangt. Diese Übergangswahrscheinlichkeiten fassen wir in der sogenannten Übergangsmatrix zusammen:

	Zustand vorher
Zustand       nachher	1 2 3 4 5 1 p11 p12 p13 p14 p15 2 p21 p22 p23 p24 p25 3 p31 p32 p33 p34 p35 4 p41 p42 p43 p44 p45 5 p51 p52 p53 p54 p55

Zum Beispiel bezeichnet die Wahrscheinlichkeit dafür, dass ein Spieler der sich im Zustand ("5 oder 9") befindet mit dem nächsten Wurf in den Zustand ("verloren") übergeht.

Damit kennen wir den ersten Eintrag in unserer Übergangsmatrix:

	Zustand vorher
Zustand       nachher	1 2 3 4 5 1 p11 p12 p13 p14 p15 2 p21 p22 p23 p24 p25 3 p31 p32 p33 p34 p35 4 p41 p42 p43 p44 p45 5 p51 p52 1/6 p54 p55