Дисертація присвячена побудові та дослідженню математичних методів вибору оптимальних рішень в системах, що складаються з автономних об'єктів, які мають спільну мету і діють оптимальним способом заради її досягнення. Елементи таких систем прийнято називати раціональними агентами. В дисертації розглянуто основні види діяльності, пов'язані з системами раціональних агентів: утворення системи агентів (кооперування), планування і координування планів дій агентів, розміщування системи, розпізнавання. Для таких видів діяльності виділено системи, що мають самостійне теоретичне і практичне значення, і для цих систем розроблено та досліджено методи вибору оптимальних рішень. Також досліджено ефективність процедур розпізнавання, які можуть застосовуватися раціональними агентами.Надано оцінку похибки байєсівської процедури розпізнавання в залежності від об'єму навчальної вибірки та інших параметрів. Доведено субоптимальність байєсівського підходу та знайдено складність класів задач розпізнавання. Досліджено ефективність відомих процедур розпізнавання.Досліджено задачі переслідування та втечі, в яких для кожного втікача утворюється група переслідувачів. Доведено теорему про NP-складність задачі оптимізації груп переслідування. Побудовано варіанти методів гілок і меж та випадкового пошуку з локальною оптимізацією розв'язання таких задач.Досліджено задачі переслідування та втечі, в яких кілька агентів доганяють одного, застосовуючи стратегію паралельного зближення. Побудовано оптимальну стратегію втечі, знайдено масимальний час переслідування. Сформульовано задачі лінійного програмування, що дозволяють будувати оптимальні або близькі до оптимальних стратегії. Використовуючи максимальний час переслідування для стратегії паралельного зближення в якості функції Ляпунова, побудовано нову стратегію переслідування, що перевершує стратегію паралельного зближення завдяки більш скоординованим діям агентів.Вирішено задачі оптимального розміщування агентів-сенсорів для колективного розпізнавання. Описано алгоритм детектування підводної загрози за допомогою системи акустичних сенсорів, а також екстремальні задачі розташування сенсорів. Розроблено метод розв'язання таких задач, доведено теорему про асимптотичну оптимальність побудованих планів розміщування сенсорів.^UThe thesis is devoted to the construction and research of mathematical methods for choosing optimal solutions in systems consisting of autonomous objects that have a common goal and act in an optimal way for the sake of achieving it. Elements of such systems are usually called rational agents. In the thesis, the main types of activities related to systems of rational agents are considered: the formation of a system of agents (cooperation), planning and coordination of agents' action plans, the placement of the system, recognition. For these types of activities, systems have been selected that have an theoretical and practical value, and methods for selecting optimal solutions have been developed and studied for these systems. Also, the effectiveness of recognition procedures that can be used by rational agents is investigated.The Bayesian recognition procedure error is estimated depending on the training sample size and other parameters. The suboptimality of the Bayesian approach is proved and the complexity of classes of recognition problems is found. The effectiveness of known recognition procedures has been studied.The problems of pursuit and evasion are considered, in which for each evader a group of pursuers is formed. Theorem on NP-difficulties of optimization problem of pursuit groups is proved. The variants of branch and boundary methods and random search with local optimization of the solution of such problems are constructed.The problems of pursuit and evasion are investigated, in which several agents pursue one by using the parallel approach strategy. The optimal escape strategy is constructed, its properties are studied, the maximum time of pursuit is found. Linear programming problems are formulated that allow constructing optimal or close to optimal strategies. Using the maximum pursuit time for a parallel approach strategy as a Lyapunov function, a new pursuit strategy is built that surpasses the parallel approach strategy due to more coordinated actions of agents.The problems of the optimal placement of sensors for collective recognition are solved. An algorithm for detecting an underwater threat using a system of acoustic sensors, as well as extreme sensor placement problems, is described. A method for solving such problems is developed, and a theorem on the asymptotic optimality of the constructed layouts of sensors is proved.