Serwer proxy znajduje się pomiędzy użytkownikami w sieci a Internetem. Gdy użytkownik żąda określonej strony internetowej za pośrednictwem przeglądarki, żądanie to przechodzi przez serwer proxy. Serwer proxy sprawdza swój bufor, aby ustalić, czy strona była już wcześniej żądana: jeśli była, nie ma potrzeby, aby uzyskiwał dostęp do Internetu, i użytkownik może szybciej połączyć się z zapisanymi przez przeglądarkę stronami.
Wiele organizacji instaluje serwer proxy przy bramie internetowej, na tym samym komputerze co zapora ogniowa.