Para viabilizar a transmissão de voz, o VoIP captura a voz, que até então é transmitida de forma analógica e a transforma em pacotes de dados, que podem ser enviados por qualquer rede TCP/IP (Transport Control Protocol/Internet Protocol). Assim, é perfeitamente possível trabalhar com esses pacotes pela Internet/intranet. Quando o destino recebe os pacotes, estes são transformados em sinais analógicos e transmitidos a um meio no qual seja possível ouvir o som.
Apesar de ganhar destaque recentemente, o VoIP não é uma tecnologia nova. Ela já era trabalhada antes mesmo da popularização da internet e chegou a ser considerado um fracasso pelo fato da velocidade de transmissão de dados ser baixo naquela época, impedindo-a de se tornar funcional na maioria das redes.
Para que o VoIP se tornasse um tecnologia viável, foi necessário investir em QoS (Quality of Service), isto é, em qualidade de serviço. Para que isso fosse possível, uma das soluções seria o aumento da largura de banda, ou seja, o aumento da velocidade de transmissão e recepção de dados. Como o acesso à internet em banda larga é cada vez mais comum, principalmente em empresas, o VoIP passou a se beneficiar disso. No entanto, apenas velocidade não era suficiente.
Cientes disso, várias empresas do ramo passaram a pesquisar soluções que garantissem a melhor qualidade possível na comunicação por VoIP. É natural que isso fosse acontecer, afinal, se uma empresa (ou um conjunto de empresas) obtivesse os melhores resultados, certamente sairia na frente na disputa por clientes. Essa situação fez com que surgissem uma série de soluções para VoIP.
Apesar dos vários padrões de VoIP, praticamente todas as empresas adotaram o protocolo RTP (Real Time Protocol) que, basicamente, tenta fazer com que os pacotes sejam recebidos conforme a ordem de envio. O RTP "ordena" os pacotes de dados, de forma que seja possível a transmissão de dados em tempo real. Caso algum pacote chegue atrasado, o RTP causa uma interpolação entre o "intervalo" deixado pelo pacote e este não é entregue.
Só como exemplo, imagine que para transmitir a palavra telefonia seja usado um pacote por letra. Se o pacote da letra ‘f’ se atrasar, é melhor que o destinatário receba "teleonia" do que "teleoniaf”. O atraso de pacotes pode ocorrer porque estes podem seguir caminhos diferentes para chegar ao destino. Isso não é um problema se quando se transmite um arquivo, pois seus pacotes são "encaixados" no destinatário. Mas com voz e vídeo em tempo real, isso não pode acontecer.
Tal fato deixa claro que o RTP é um recurso muito útil em aplicações que envolvem som e vídeo. Devido a esta característica, seu funcionamento é atrelado a outro protocolo, o RTCP (Real Time Control Protocol). Este é responsável pela compressão dos pacotes dos dados e também atua no monitoramento destes.
Por ainda ser necessário melhorias, a IETF (Internet Engineering Task Force), entidade responsável pelo RTP e pelo RTCP, sugeriu a aplicação do protocolo RSVP (Resource Reservation Protocol), que tem como principal função alocar parte da banda disponível para a transmissão de voz.
Existem ainda os codecs, protocolos extras que adicionam funcionalidades e maior qualidade à comunicação. Entre eles, tem-se o G.711, o G.722, o G.723, o G.727, dentre outros. O que os diferencia são os algoritmos usados, a média de atraso e principalmente a qualidade da voz. Neste último aspecto, o G.711 é considerado excelente. Todos esses codecs são recomendados pela entidade ITU-T (International Telecommunications Union - Telecommunications standardization sector) e geralmente trabalham em conjunto com mais outro protocolo: O CRTP (Compressed Real-Time Protocol), responsável por melhorar a compressão de pacotes e assim dar mais qualidade ao VoIP.
Para que seja possível a interligação das redes telefônicas convencionais com o VoIP, geralmente usa-se um equipamento denominado Gateway. Ele é responsável por fazer a conversão do sinal analógico em digital e vice-versa, além de fazer a conversão para os sinais das chamadas telefônicas. Existe ainda o Gateway Controller (Call Agent), que é responsável por controlar as chamadas feitas pelo Gateway.
Para as ligações em longa distância, são utilizados equipamentos conhecidos por Gatekeeper. Eles gerenciam uma série de outros equipamentos e podem autorizar chamadas, fazer controle da largura de banda utilizada, enfim, de grosso modo, ele pode ser entendido como uma central telefônica para VoIP.