В статье рассмотрено решение проблемы оптимального размещения скважин с помощью алгоритма обучения с подкреплением Alpha Zero, который хорошо зарекомендовал себя качестве интеллектуальной системы (искусственного интеллекта) для игр и решения задач оптимизации в квантовой теории оптимального управления. Сделано предположение, что алгоритм Alpha Zero может быть не менее эффективным при решении задачи оптимального размещения скважин. Основными компонентами алгоритма, которые влияют на принятие решений, являются дерево Монте-Карло и нейронная сеть. Для выбора места размещения следующей скважины выполняется ограниченное число симуляций по дереву, корнем которого является текущий сектор, из которого происходит выбор. В ходе симуляций исследуются различные варианты-ветки дерева и добавляются новые узлы для неисследованных ветвей. Нейронная сеть дает оценку чистого дисконтированного дохода (NPV) для неисследованных ветвей-вариантов и желательности следующих действий. В качестве состояний в предложенном подходе рассмотрены сектора фиксированного размера, взятые из гидродинамической модели, рассчитанной для всего месторождения. Каждый сектор характеризуют картами свойств модели, вырезанными по контуру сектора. Дополнительно задается вектор экономических параметров. Отмечено, что главным преимуществом выбранного подхода является отсутствие необходимости полного перебора вариантов размещения – более глубоко раскрываются только ветви с хорошими оценками.
Представлены результаты работы прототипа системы по разработанному алгоритму. Выполнено краткое сравнение с результатами гидродинамического симулятора. Разработанный прототип показал корректную работу для синтетических моделей в ходе расстановки добывающих скважин, а также результаты сопоставимые с результатами гидродинамического симулятора.
Список литературы
1. Определение оптимальной схемы размещения горизонтальных скважин на месторождениях с нефтяными оторочками / Д.А. Сугаипов, С.А. Нехаев, И.В. Перевозкин [и др.] // Нефтяное хозяйство. – 2019. – № 12. – С. 44–46.
2. Владимиров И.В., Альмухаметова Э.М. Эффективное размещение рядов добывающих и нагнетательных скважин в нефтяных залежах высоковязкой нефти с протяженными зонами разуплотнения коллектора // Проблемы сбора, подготовки и транспорта нефти и нефтепродуктов. – 2019. – № 3. – С. 62–74.
3. Well-placement optimization using sequential artificialneural networks / Ilsik Jang, Seeun Oh, Yumi Kim [et al.] // Energy Exploration & Exploitation. – 2018. – V. 36(3). – P. 433–449.
4. Hamida Z., Azizi F., Saad G. An efficient geometry-based optimization approach for well placement in oil fields // Journal of Petroleum Science and Engineering. – 2017. – V. 149. – P. 383–392.
5. A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play / D. Silver [et al.] // Science. – 2018. – V. 362. – No. 6419. – P. 1140–1144.
6. Pumperla M., Ferguson K. Deep learning and the game of Go // Manning. – 2019. – V. 231. – P. 279.
7. Global optimization of quantum dynamics with AlphaZero deep exploration / M. Dalgaard [et al.] // npj Quantum Information. – 2020. – V. 6. – № 1.
8. Современные методы решения инженерных задач на поздней стадии разработки нефтяного месторождения / Ш.Ф. Тахаутдинов, Н.И. Хисамутдинов, М.З. Тазиев [и др.]. – М.: ОАО ВНИОЭНГ, 2000. – 104 с.
9. Lozhkin A., Bozek P., Maiorov K. The Method of High Accuracy Calculation of Robot Trajectory for the Complex Curves // Management Systems in Production Engineering. – 2020. – V. 28. – №. 4. – P. 247-252.
10. Information technology and pragmatic analysis / P. Božek [et al.] // Computing and informatics. – 2018. – V. 37. – No. 4. – P. 1011–1036.
