토큰 버킷 알고리즘은 네트워크 트래픽이나 API 요청 등 시스템으로 들어오는 요청의 처리율을
제한(Rate Limiting)하는 데 사용되는 효과적인 알고리즘이다.
정해진 용량을 가진 가상의 “버킷”에 “토큰”을 저장하는 방식으로 동작한다.
시스템에는 정해진 최대 용량을 가진 버킷이 존재하며, 이 버킷에는 토큰이 저장된다.
토큰은 일정한 속도(Rate)로 지속적으로 생성되어 버킷에 추가된다. 버킷이 가득 차면 새로 생성된 토큰은 버려진다.
새로운 요청이 들어오면, 이 요청을 처리하기 위해 버킷에서 토큰 하나를 사용한다.
만약 버킷에 토큰이 충분히 있다면 요청은 허용되고 토큰은 감소한다.
하지만, 버킷에 토큰이 없다면 요청은 즉시 거부되거나 대기열로 보내질 수 있다.