این پروتکل در لایه ۳ عمل می‌کند و شامل پروتکل‌های AH و ESP می‌باشد. IPSec از AH به منظور هویت‌شناسی و جامعیت مبدا بدون استفاده از رمزنگاری بهره می‌گیرد، درحالیکه ESP هویت‌شناسی و جامعیت مبدا را به کمک رمزنگاری فراهم می‌آورد. پروتکل IPSec دارای دو مد عملیاتی انتقال و تونل است. در مد انتقال مکانیزم رمز نگاری روی قسمت داده‌ای بسته IP اعمال می‌شود و سرآیند بسته IP تغییر نخواهد کرد. بنابراین مبدا و مقصد نهایی بسته ممکن است توسط افراد غیر مجاز مشاهده شود، اما چون در این مد سرآیند لایه ۴ رمزنگاری شده‌است، اطلاع دقیق از نوع و کیفیت بسته ارسالی برای کابران غیر مجاز امکانپذیر نخواهد بود. معمولاَ از این مد زمانی استفاده می‌شود که هم مبدا و هم مقصد پروتکل IPSec را پشتیبانی نماید. در مد تونل، تمامی بسته IP رمزنگاری می‌شود و سپس یک سرآیند جدید به بسته رمزنگاری شده الحاق می‌گردد. از این مد زمانی استفاده می‌شود که یک یا هر دو طرف اتصال IPSec دروازه‌های امنیتی باشند که از این پروتکل حمایت می‌کنند، در حالی که مبدا و مقصد اصلی که در پشت این دروازه‌ها قرار دارند پروتکل IPSec را پشتیبانی نمی‌کنند. در این حالت مبدا و مقصد اصلی بسته‌ها از دید کاربران غیر مجاز پنهان خواهد ماند.