Вперше запропоновано системний підхід щодо управління марковськими процесами, який полягає у оригінальному означенні еволюції керованої системи, а саме: стан деякої вершини графа залежить від стану її повного околу та рішення у попередній момент часу. Показано актуальність даного підходу до означення марковості. Доведено: оптимальні стратегії в задачі мінімізації функціоналу середніх затрат на одиницю часу за умов скінченності просторів станів системи та простору керуючих впливів для деякої вершини можна вибрати у класі нерандомізованих однорідних марковських стратегій. У разі нескінченності просторів значень кожної з вершин і керуючих впливів для задачі керування однією вершиною та задачі переходу керування від однієї вершини до іншої одержано достатні умови існування оптимальних нерандомізованих стаціонарних стратегій та деякі можливості виконання цих достатніх умов за критерієм якості середніх доходів на одиницю часу. Одержано достатні умови існування оптимальних нерандомізованих стаціонарних стратегій і тотожної рівності сталої ціни гри для обох гравців у стохастичній грі на графі.