У вступному нарисі до роману розповідається про рідне місто автора - Сейлемі, про його предків - пуританах-фанатиків, про його роботу в сейлемской митниці і про людей, з якими йому довелося там зіткнутися. «Ні парадний, ні чорний хід митниці не веде в рай», і служба в цій установі не сприяє розквіту хороших задатків в людях. Одного разу, риючись в паперах, звалених в купу у величезній кімнаті на третьому поверсі митниці, автор знайшов рукопис якогось Джонатана П'ю, який помер вісімдесят років тому. Це було життєпис Естер Прин, що жила в кінці XVII ст. Разом з паперами зберігався червоний клапоть, при найближчому розгляді виявився дивовижно розшитій літерою «А»; коли автор доклав її до грудей, йому здалося, що він відчув опік. Звільнений після перемоги вігів, автор повернувся до літературних занять, для яких йому вельми знадобилися плоди праць містера П'ю.
З бостонської в'язниці виходить Естер Прин з немовлям на руках. На ній гарне плаття, яке вона пошила собі у в'язниці, на грудях його червона вишивка у вигляді букви «А» - перша буква слова Adulteress (перелюбниця). Всі засуджують поведінку Естер і її викликає наряд. Її ведуть на ринкову площу до помосту, де їй належить стояти до першої години дня під ворожими поглядами натовпу - таке покарання виніс їй суд за її гріх і за відмову назвати ім'я батька новонародженої дочки. Стоячи біля ганебного стовпа, Естер згадує своє минуле життя, дитинство в старій Англії, немолодого згорбленого вченого, з яким вона зв'язала свою долю. Обвівши поглядом натовп, вона помічає в задніх рядах людини, який негайно опановує її думками. Людина цей немолодий, у нього проникливий погляд дослідника і згорблена спина невтомного трудівника. Він розпитує оточуючих про те, хто вона така. Вони дивуються, що він нічого про неї не чув. Але він пояснює, що він нетутешній, довго був в рабстві у язичників, і ось тепер індіанець привів його в Бостон, щоб отримати викуп. Йому розповідають, що Естер Прин - дружина одного англійського вченого, який надумав перебратися до Нової Англії. Він послав дружину вперед, а сам затримався в Європі. За два роки життя в Бостоні Естер не отримала від нього жодної звістки: ймовірно, він загинув. Поблажливий суд взяв до уваги всі пом'якшувальні обставини і не засудив занепалу жінку на смерть, а засудив всього лише простояти три години помості у ганебного стовпа, а потім до кінця життя носити на грудях знак безчестя. Але всіх обурює, що вона не назвала ім'я співучасника гріха. Найстаріший бостонський священик Джон Вілсон переконує Естер відкрити ім'я спокусника, слідом за ним тремтячим від хвилювання голосом до неї звертається молодий пастор Димсдейл, чиєю прихожанкою вона була. Але молода жінка завзято мовчить, міцно притискаючи до грудей дитину.
Коли Естер повертається до в'язниці, до неї приходить той самий незнайомець, якого вона бачила на площі. Він лікар і називає себе Роджером Чиллингуорт. Насамперед він заспокоює дитину, потім дає ліки Естер. Вона боїться, що він її отруїть, але лікар обіцяє не мстити ні молодій жінці, ні дитині. Було занадто самовпевнено з його боку одружуватися на юній красивій дівчині і чекати від неї почуття у відповідь. Естер завжди була з ним чесна і не прикидалася, що любить його. Так що вони обидва заподіяли один одному зло і квити. Але Чиллингуорт хоче дізнатися ім'я коханого Естер, ім'я людини, яка завдала зло їм обом. Естер відмовляється назвати його. Чиллингуорт змушує її поклястися, що вона нікому не відкриє його справжнього імені і свого з ним спорідненості. Нехай всі вважають, що її чоловік помер. Він вирішує будь-що-будь дізнатися, з ким згрішила Естер, і помститися її коханому.
Вийшовши з в'язниці, Естер поселяється в покинутому будиночку на околиці Бостона і заробляє на життя рукоділлям. Вона настільки майстерна вишивальниця, що у неї немає відбою від замовників. Вона купує собі тільки найнеобхідніше, а решту грошей роздає бідним, часто чуючи у відповідь образи замість подяки. Її дочка Перл красуня, але має палким і мінливим характером, так що Естер з нею нелегко. Перл не хоче підкорятися жодним правилам. Першим її свідомим враженням стала червона буква на грудях у Естер.
Друк знехтуваним лежить і на дівчинці: вона не схожа на інших дітей, не грає з ними. Бачачи дивацтва дівчинки і зневірившись довідатися, хто її батько, деякі городяни вважають її диявольським кодлом. Естер ніколи не розлучається з дочкою і всюди бере її з собою. Одного разу вони приходять до губернатора, щоб віддати замовлену їм пару парадних розшитих рукавичок. Губернатора немає вдома, і вони чекають його в саду. Губернатор повертається разом зі священиками Вілсоном і Димсдейлом. По дорозі вони говорили про те, що Перл - дитя гріха і слід забрати її у матері і передати в інші руки. Коли вони повідомляють про це Естер, вона не погоджується віддати дочку. Пастор Вілсон вирішує з'ясувати, чи виховує її Естер в християнському дусі. Перл, яка знає навіть більше, ніж передбачено в її віці, упирається і на питання про те, хто її створив, відповідає, що її ніхто не створив, просто мати знайшла її в рожевому кущі у дверей в'язниці. Побожні джентльмени жахаються: дівчинці вже три роки, а вона не знає, хто її створив. Вони вирішують забрати Перл у матері, і їй вдається залишити дочку у себе тільки завдяки заступництву пастора Димсдейла.
Пізнання в медицині і побожність здобули Чиллингуорту повагу жителів Бостона. Незабаром після прибуття він обрав своїм духовним батьком преподобного Димсдейла. Всі парафіяни дуже шанували молодого богослова і були стурбовані його здоров'ям, різко погіршав в останні роки. Люди бачили в приїзді до їхнього міста вправного лікаря перст Провидіння і наполягали, щоб містер Димсдейл звернувся до нього за допомогою. В результаті молодий священик і старий лікар подружилися, а потім навіть і оселилися разом. Чиллингуорт, який взявся за розслідування таємниці Естер із суворим неупередженістю судді, все більше підпадає під владу одного-єдиного почуття - помсти, яка підпорядковує собі всю його життя. Відчувши палку натуру молодого священика, він хоче проникнути в потаємні глибини його душі і для цього не зупиняється ні перед чим. Чиллингуорт весь час провокує Димсдейла, розповідаючи йому про нерозкаяних грішників. Він стверджує, що в основі тілесного недуги Димсдейла лежить душевна рана і вмовляє священика відкрити йому, лікаря, причину його душевних Страждань. Димсдейл вигукує: «Хто ти такий, щоб <...> ставати між страждальцем і його Господом?» Але одного разу молодий священик міцно засинає вдень у кріслі і не прокидається навіть тоді, коли Чиллингуорт входить в кімнату. Старий підходить до нього, кладе руку йому на груди і розстібає одяг, яку Димсдейл ніколи не знімав у присутності лікаря. Чиллингуорт торжествує - «так поводиться сатана, коли переконується, що дорогоцінна людська душа втрачена для небес і виграна для пекла». Димсдейл відчуває до Чиллингуорту неприязнь і картає себе за неї, не знаходячи для неї причини, а Чиллингуорт - «жалюгідне, самотнє істота, ще більш нещасна, ніж його жертва» - всіма силами намагається посилити душевні муки Димсдейла.
Одного разу вночі Димсдейл йде на ринкову площу і стає біля ганебного стовпа. На зорі повз проходять Естер Прин і Перл. Священик гукає їх, вони сходять на поміст і стають поруч з ним. Перл запитує Димсдейла, постоїть він тут з ними завтра вдень, але він відповідає, що в день Страшного суду вони будуть стояти всі втрьох перед престолом великого судії, але зараз ще не час і денне світло не повинен бачити їх втрьох. Темне небо раптом осяває - ймовірно, це світло метеора. Вони бачать недалеко від помосту Чиллингуорта, який невідривно дивиться на них. Димсдейл каже Естер, що відчуває невимовний жах перед цією людиною, але Естер, пов'язана клятвою, що не відкриває йому таємниці Чиллингуорта.
Роки йдуть. Перл виповнюється сім років. Бездоганна поведінка Естер і її безкорислива допомога стражденним призводять до того, що жителі містечка починають ставитися до неї зі своєрідним повагою. Навіть червона буква здається їм символом не гріха, а внутрішньої сили. Якось раз, гуляючи з Перл, Естер зустрічає Чиллингуорта і уражається зміні, що сталася в ньому за останні роки. Спокійне мудре обличчя вченого набуло хиже, жорстоке вираз, усмішка виглядає на ньому гримасою. Естер заговорює з ним, це перша їхня розмова з того разу, коли він взяв з неї клятву не розкривати його справжнього імені. Естер просить його не мучити Димсдейла: страждання, яким піддає його Чиллингуорт, гірше смерті. До того ж він мучиться на очах свого заклятого ворога, навіть не знаючи, хто він такий. Естер запитує, чому Чиллингуорт не мстить їй; той відповідає, що за нього помстилася червона буква. Естер благає Чиллингуорта одуматися, він ще може врятуватися, адже це ненависть перетворила його з мудрого справедливого людини в диявола. У його влади пробачити, прощення людей, завдали йому образу, стане його порятунком. Але Чиллингуорт не вміє прощати, його доля - ненависть і помста.
Естер вирішує відкрити Димсдейлу, що Чиллингуорт її чоловік. Вона шукає зустрічі зі священиком. Нарешті вона зустрічає його в лісі. Димсдейл говорить їй, як він страждає тому, що всі вважають його чистим і непорочним, між тим як він заплямував себе гріхом. Його оточують брехня, порожнеча, смерть. Естер відкриває йому, хто ховається під ім'ям Чиллингуорта. Димсдейл лютує: з вини Естер він «оголював свою немічну злочинну душу перед поглядом того, хто таємно глумився над нею». Але він прощає Естер. Обидва вони вважають, що гріх Чиллингуорта ще страшніше, ніж їх гріх: він зазіхнув на святиню людського серця. Вони розуміють - Чиллингуорт, знаючи, що Естер збирається розкрити Димсдейлу його таємницю, вигадував нові підступи. Естер пропонує Димсдейлу бігти і почати нове життя. Вона домовляється з шкіпером судна, що пливе в Брістоль, що він візьме на борт двох дорослих людей і дитини.
Судно має відплисти через три дні, а напередодні Димсдейл збирається прочитати проповідь на честь дня виборів. Але він відчуває, як у нього паморочиться голова. Чиллингуорт пропонує йому свою допомогу, але Димсдейл відмовляється. Народ збирається на ринковій площі, щоб почути проповідь Димсдейла. Естер зустрічає в натовпі шкіпера Брістольського судна, і він повідомляє їй, що Чиллингуорт також попливе з ними. Вона бачить на іншому кінці площі Чиллингуорта, який зловісно посміхається їй. Димсдейл вимовляє блискучу проповідь. Починається святкова хода, Димсдейл вирішує покаятися перед народом. Чиллингуорт, розуміючи, що це полегшить борошна страждальця, і відчуваючи, що жертва вислизає від нього, кидається до нього, благаючи не накликати ганьбу на свій священний сан. Димсдейл просить Естер допомогти йому зійти на поміст. Він встає у ганебного стовпа і кається у своєму гріху перед народом. На закінчення він зриває священицький шарф, оголюючи груди. Погляд його згасає, він помирає, останні його слова - хвала Всевишньому. По місту повзуть різні чутки: одні кажуть, що на грудях священика була червона буква - точну копію тієї, яку носила Естер Прин. Інші, навпаки, стверджують, що груди священика була чиста, але, відчуваючи наближення смерті, він побажав віддати Богові душу на руках занепалої жінки, щоб показати світу, як сумнівна праведність самого непорочного з людей.
Після смерті Димсдейла Чиллингуорт, що втратив сенс життя, відразу постарів, духовна і фізична сила разом покинули його. Не минуло й року, як він помер. Все своє величезний статок він заповідав маленькій Перл. Після смерті старого лікаря Естер і її дочка зникли, а історія Естер стала легендою. Через багато років Естер повернулася і знову добровільно наділу емблему ганьби. Вона самотньо живе в своєму старому будиночку на околиці Бостона. Перл, судячи з усього, щасливо вийшла заміж, пам'ятала про матір, писала їй, посилала подарунки і була б рада, якби Естер жила з нею. Але Естер хотіла жити там, де відбувся її гріх, - вона вважала, що там же має здійснитися і спокутування. Коли вона померла, її поховали поруч з пастором Димсдейлом, але між двома могилами був залишений проміжок, немов навіть після смерті прах цих двох не мав права змішатися.