dc.creator |
BORGES, Dimitrius Guilherme Ferreira |
|
dc.date.issued |
2020-12-18 |
|
dc.identifier.uri |
https://repositorio.unifei.edu.br/jspui/handle/123456789/2275 |
|
dc.description.abstract |
The number of vehicles on the streets across the world has quickly grown in the
last decade, directly impacting how urban traffic is managed. The signalized junctions
control is a vastly known and studied problem. Although an increasing number of technologies
is explored and used to solve it, there still are challenges and opportunities to deal
with it, especially when considering the inefficiency of the widely known fixed time traffic
controllers, which are incapable of dealing with dynamic events. This study aims to apply
Hierarchical Reinforcement Learning (HRL) on the control of a signalized vehicular junction
and compare its performance with a fixed time traffic controller, configured using the
Webster Method. HRL is a Reinforcement Learning (RL) variation, where secondary objectives,
represented by sub-policies, are organized and proposed in a hierarchical model,
managed by a macro-policy, responsible for selecting said sub-policies when those are
capable of reaching its best results, where The Q-Learning Framework rules both sub
and macro policies. Hierarchical Reinforcement Learning was chosen because it combines
the ability to learn and make decisions while taking observations from the environment,
in real-time, a typical ability from Reinforcement Learning, with a Divide to Conquer
approach, where the problem is divided into sub-problems. These capabilities bring to a
highly dynamic problem a more significant power of adaptability, which is impossible to
be taken into account when using deterministic models like the Webster Method. The
test scenarios, composed of several vehicle fluxes applied to a cross of two lanes, were
built using the SUMO simulation tool. HRL, its sub-policies and the Webster Method
are applied and assessed through these scenarios. According to the obtained results, HRL
shows better results than the Webster Method and its isolated sub-policies, indicating a
simple and efficient alternative. |
pt_BR |
dc.description.sponsorship |
Agência 1 |
pt_BR |
dc.language |
por |
pt_BR |
dc.publisher |
Universidade Federal de Itajubá |
pt_BR |
dc.rights |
Acesso Aberto |
pt_BR |
dc.subject |
Tráfego veicular |
pt_BR |
dc.subject |
Método webster |
pt_BR |
dc.subject |
Q-Learning |
pt_BR |
dc.subject |
Hierarchical reinforcement learning |
pt_BR |
dc.subject |
SUMO |
pt_BR |
dc.title |
Gerenciamento de um cruzamento semaforizado utilizando reinforcement learning e options framework |
pt_BR |
dc.type |
Dissertação |
pt_BR |
dc.date.available |
2021-02-09 |
|
dc.date.available |
2021-02-09T15:14:32Z |
|
dc.date.accessioned |
2021-02-09T15:14:32Z |
|
dc.creator.Lattes |
http://lattes.cnpq.br/2322507982634726 |
pt_BR |
dc.contributor.advisor1 |
MOREIRA, Edmilson Marmo |
|
dc.contributor.advisor1Lattes |
http://lattes.cnpq.br/3910450557582884 |
pt_BR |
dc.contributor.advisor-co1 |
RODRIGUES, João Paulo Reus |
|
dc.contributor.advisor-co1Lattes |
http://lattes.cnpq.br/2049342280490984 |
pt_BR |
dc.description.resumo |
O número de veículos nas ruas de todo o mundo tem crescido rapidamente ao
longo da última década, impactando diretamente em como o tráfego urbano é gerenciado.
O controle de cruzamentos sinalizados é um problema largamente conhecido e estudado e
que, embora cada vez mais tecnologias sejam exploradas e aplicadas, ainda se encontram
desafios e oportunidades ao tratar o problema, principalmente quando confronta-se a ineficiência
dos já bem difundidos semáforos de tempos fixos, incapazes de lidar com eventos
dinâmicos. O objetivo deste trabalho é aplicar Hierarchical Reiforcement Learning (HRL)
ao controle de um cruzamento veicular semaforizado e, a partir dos resultados obtidos,
compará-lo a um semáforo de tempos fixos dimensionado pelo Método de Webster. HRL é
uma variação de Reinforcement Learning (RL), em que objetivos secundários, representados
por sub-políticas, são propostos e organizados em um modelo hierárquico e gerenciados
por uma política macro, responsável por selecioná-las quando se espera rendimento máximo
das mesmas, sendo que tanto as sub-políticas quanto a principal são regidas pelo
framework Q-learning. Herarchical Reinforcement Learning foi escolhido por aliar a capacidade
de aprendizado e tomada de decisão feitos de acordo com observações do ambiente
em tempo real, característicos do Reinforcement Learning, com um modelo similar ao
Dividir para Conquistar, que desmembra o problema principal em sub-problemas. Isso
traz ao modelo uma maior dinâmica e poder de adaptabilidade a um problema que exibe,
por vezes, variações imprevisíveis, impossíveis de serem levadas em conta em abordagens
determinísticas, como o Método de Webster. Os cenários de testes, formados por diversos
tipos de fluxo de veículos, aplicados a um cruzamento de duas vias simples, foram construídos
através da ferramenta de simulação SUMO. Os modelos HRL, suas sub-políticas
isoladas e o Método de Webster são aplicados e avaliados a partir destes cenários onde, de
acordo com os resultados obtidos, HRL se mostra superior tanto ao Método de Webster
quanto às suas sub-políticas isoladas, mostrando-se uma alternativa simples e eficaz. |
pt_BR |
dc.publisher.country |
Brasil |
pt_BR |
dc.publisher.department |
IESTI - Instituto de Engenharia de Sistemas e Tecnologia da Informação |
pt_BR |
dc.publisher.program |
Programa de Pós-Graduação: Mestrado - Ciência e Tecnologia da Computação |
pt_BR |
dc.publisher.initials |
UNIFEI |
pt_BR |
dc.subject.cnpq |
CNPQ::CIÊNCIAS EXATAS E DA TERRA::CIÊNCIA DA COMPUTAÇÃO::MATEMÁTICA DA COMPUTAÇÃO |
pt_BR |
dc.relation.references |
BORGES, Dimitrius Guilherme Ferreira. Gerenciamento de um cruzamento semaforizado utilizando reinforcement learning e options framework. 2020. 94 f. Dissertação (Mestrado em Ciência e Tecnologia da Computação.) – Universidade Federal de Itajubá, Itajubá, 2020. |
pt_BR |