Для организации телефонной связи по IP-сетям используется специальное оборудование - шлюзы IP-телефонии. Общий принцип действия телефонных шлюзов IP-телефонии таков: с одной стороны шлюз подключается к телефонным линиям - и может соединиться с любым телефоном мира. С другой стороны шлюз подключен к IP-сети - и может связаться с любым компьютером в мире. Шлюз принимает телефонный сигнал, оцифровывает его (если он исходно не цифровой), значительно сжимает, разбивает на пакеты и отправляет через IP-сеть по назначению с использованием протокола IP. Для пакетов, приходящих из IP-сети на шлюз и направляемых в телефонную линию, операция происходит в обратном порядке. Обе составляющие процесса связи (вход сигнала в телефонную сеть и его выход из телефонной сети) происходят практически одновременно, что позволяет обеспечить полнодуплексный разговор. На основе этих базовых операций можно построить много различных конфигураций.

В настоящее время, все большую популярность приобретают IP-АТС, которые кроме функций шлюза IP-телефонии выполняют также традиционные функции обычных офисных АТС. Таким образом, при организации телефонной связи через IP-сети с использованием IP-АТС можно вполне обойтись без офисной АТС, т.е. сэкономить на дополнительном оборудовании.