COMPUTER NETWORKS//(VOL. 182)
Volumen: 182, Numero: 1, Páginas: [11] p.
The success of applications based on the Internet of Things (IoT) largely depends on the ability to process large amounts of data with different quality of service (QoS) requirements. Access control remains an important issue in scenarios where massive machine-type communications (mMTC) prevail and, as a consequence, several mechanisms such as Access Class Barring (ACB) have been designed with the aim of reducing congestion. While this mechanism can effectively increase the total number of User Equipment (UEs) that can access the system, it can also hurt access lag, limiting its usability in some scenarios. In this paper, we propose a delay-aware deep double-reinforcement learning mechanism that can dynamically adapt two system parameters to improve the probability of successful access using ACB, while at the same time reducing the expected delay by modifying the periodicity of the Access Chance. Random Access (RAO). The results show that our system can simultaneously accept a massive number of machine-type and human-type UEs and, at the same time, reduce the average delay compared to previously known solutions. This mechanism can work properly under variable load conditions and can be trained with real data traces, which facilitates its implementation in real scenarios.
El éxito de las aplicaciones basadas en Internet de las cosas (IoT) depende en gran medida de la capacidad de procesar grandes cantidades de datos con diferentes requisitos de calidad de servicio (QoS). El control de acceso sigue siendo un tema importante en escenarios donde prevalecen las comunicaciones masivas tipo máquina (mMTC) y, como consecuencia, se han diseñado varios mecanismos como Access Class Barring (ACB) con el objetivo de reducir la congestión. Si bien este mecanismo puede aumentar efectivamente la cantidad total de Equipos de Usuario (UE) que pueden acceder al sistema, también puede dañar el retraso de acceso, lo que limita su usabilidad en algunos escenarios. En este trabajo, proponemos un mecanismo de aprendizaje de doble refuerzo profundo consciente del retraso que puede adaptar dinámicamente dos parámetros del sistema para mejorar la probabilidad de acceso exitoso usando ACB, mientras que al mismo tiempo reduce el retraso esperado modificando la periodicidad de la Oportunidad de Acceso Aleatorio (RAO). Los resultados muestran que nuestro sistema puede aceptar simultáneamente un número masivo de UE de tipo máquina y tipo humano y, al mismo tiempo, reducir el retraso medio en comparación con las soluciones conocidas anteriormente. Este mecanismo puede funcionar adecuadamente bajo condiciones de carga variables y puede entrenarse con trazas de datos reales, lo que facilita su implementación en escenarios reales.