Use este identificador para citar ou linkar para este item:
https://repositorio.unifei.edu.br/jspui/handle/123456789/2275
Tipo: | Dissertação |
Título: | Gerenciamento de um cruzamento semaforizado utilizando reinforcement learning e options framework |
Autor(es): | BORGES, Dimitrius Guilherme Ferreira |
Primeiro Orientador: | MOREIRA, Edmilson Marmo |
metadata.dc.contributor.advisor-co1: | RODRIGUES, João Paulo Reus |
Resumo: | O número de veículos nas ruas de todo o mundo tem crescido rapidamente ao longo da última década, impactando diretamente em como o tráfego urbano é gerenciado. O controle de cruzamentos sinalizados é um problema largamente conhecido e estudado e que, embora cada vez mais tecnologias sejam exploradas e aplicadas, ainda se encontram desafios e oportunidades ao tratar o problema, principalmente quando confronta-se a ineficiência dos já bem difundidos semáforos de tempos fixos, incapazes de lidar com eventos dinâmicos. O objetivo deste trabalho é aplicar Hierarchical Reiforcement Learning (HRL) ao controle de um cruzamento veicular semaforizado e, a partir dos resultados obtidos, compará-lo a um semáforo de tempos fixos dimensionado pelo Método de Webster. HRL é uma variação de Reinforcement Learning (RL), em que objetivos secundários, representados por sub-políticas, são propostos e organizados em um modelo hierárquico e gerenciados por uma política macro, responsável por selecioná-las quando se espera rendimento máximo das mesmas, sendo que tanto as sub-políticas quanto a principal são regidas pelo framework Q-learning. Herarchical Reinforcement Learning foi escolhido por aliar a capacidade de aprendizado e tomada de decisão feitos de acordo com observações do ambiente em tempo real, característicos do Reinforcement Learning, com um modelo similar ao Dividir para Conquistar, que desmembra o problema principal em sub-problemas. Isso traz ao modelo uma maior dinâmica e poder de adaptabilidade a um problema que exibe, por vezes, variações imprevisíveis, impossíveis de serem levadas em conta em abordagens determinísticas, como o Método de Webster. Os cenários de testes, formados por diversos tipos de fluxo de veículos, aplicados a um cruzamento de duas vias simples, foram construídos através da ferramenta de simulação SUMO. Os modelos HRL, suas sub-políticas isoladas e o Método de Webster são aplicados e avaliados a partir destes cenários onde, de acordo com os resultados obtidos, HRL se mostra superior tanto ao Método de Webster quanto às suas sub-políticas isoladas, mostrando-se uma alternativa simples e eficaz. |
Abstract: | The number of vehicles on the streets across the world has quickly grown in the last decade, directly impacting how urban traffic is managed. The signalized junctions control is a vastly known and studied problem. Although an increasing number of technologies is explored and used to solve it, there still are challenges and opportunities to deal with it, especially when considering the inefficiency of the widely known fixed time traffic controllers, which are incapable of dealing with dynamic events. This study aims to apply Hierarchical Reinforcement Learning (HRL) on the control of a signalized vehicular junction and compare its performance with a fixed time traffic controller, configured using the Webster Method. HRL is a Reinforcement Learning (RL) variation, where secondary objectives, represented by sub-policies, are organized and proposed in a hierarchical model, managed by a macro-policy, responsible for selecting said sub-policies when those are capable of reaching its best results, where The Q-Learning Framework rules both sub and macro policies. Hierarchical Reinforcement Learning was chosen because it combines the ability to learn and make decisions while taking observations from the environment, in real-time, a typical ability from Reinforcement Learning, with a Divide to Conquer approach, where the problem is divided into sub-problems. These capabilities bring to a highly dynamic problem a more significant power of adaptability, which is impossible to be taken into account when using deterministic models like the Webster Method. The test scenarios, composed of several vehicle fluxes applied to a cross of two lanes, were built using the SUMO simulation tool. HRL, its sub-policies and the Webster Method are applied and assessed through these scenarios. According to the obtained results, HRL shows better results than the Webster Method and its isolated sub-policies, indicating a simple and efficient alternative. |
Palavras-chave: | Tráfego veicular Método webster Q-Learning Hierarchical reinforcement learning SUMO |
CNPq: | CNPQ::CIÊNCIAS EXATAS E DA TERRA::CIÊNCIA DA COMPUTAÇÃO::MATEMÁTICA DA COMPUTAÇÃO |
Idioma: | por |
País: | Brasil |
Editor: | Universidade Federal de Itajubá |
Sigla da Instituição: | UNIFEI |
metadata.dc.publisher.department: | IESTI - Instituto de Engenharia de Sistemas e Tecnologia da Informação |
metadata.dc.publisher.program: | Programa de Pós-Graduação: Mestrado - Ciência e Tecnologia da Computação |
Tipo de Acesso: | Acesso Aberto |
URI: | https://repositorio.unifei.edu.br/jspui/handle/123456789/2275 |
Data do documento: | 18-Dez-2020 |
Aparece nas coleções: | Dissertações |
Arquivos associados a este item:
Arquivo | Descrição | Tamanho | Formato | |
---|---|---|---|---|
Dissertação_2021010.pdf | 2,23 MB | Adobe PDF | Visualizar/Abrir |
Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.