Road Traffic Event Detection Using Twitter Data,Machine Learning, and Apache Spark

Ebtesam Alomari1, Rashid Mehmood2, and Iyad Katib1 1 Faculty of Computing and Information Technology, 2 High Performance Computing Center King AbdulAziz University Jeddah, Saudi Arabia

EAlomari0011@stu.kau.edu.sa, {RMehmood, IAKatib}@kau.edu.sa

Road Traffic Event Detection Using Twitter Data, Machine Learning, and Apache Spark_v2.pptx

4.03MB

abstract :

머신 러닝을 사용하여 트윗의 내용을 교통과 관련된 내용의 트윗을 분류하고, 교통과 관련된 트윗을 세부 분야로 분류하여 이벤트 탐지 시행

 

introduction:

도로 혼잡은 많은 부정적인 영향을 끼침으로써 이를 줄이거나 제거하기 위한 관리 전략을 설정하려면 효율적이고 시기 적절한 방식으로 탐지되어야 함

 

method:

트윗 API를 사용하여 JSON파일로 저장하고, 이를 세가지 분류 알고리즘(나이브 베이지안, SVM, 로지스틱 회귀)을 사용하여 트윗을 이진 필터링한 후 정확도, 정밀도, 재현율, f-score를 통해 모델을 검증함

 

experiment:

SVM이 정확도와 f-score, 정밀도 면에서 높게 나왔으며, 재현율은 로지스틱 회귀와 SVM이 90% 정도 나왔다.

또한, 시간 별로 이벤트를 보았을 때, 시기 적절하게 탐지되는 것을 보았으며, Fire와 Weather의 경우 데이터 셋을 더 확보한 후 실험해야 한다.

 

discussion:

1. 지역명 없이 지역 정보 추출이 어려움

2. 트윗에 대한 감정 분류를 시행할 예정

 

conclusion:

머신러닝 알고리즘을 통해 트윗을 통하여 자동 이벤트 감지를 수행함