Трагічна історія художника Чарткова розпочалася перед лавкою на Щукінському дворі, де серед безлічі картин, що зображують мужичків або ландшафтікі, він розгледів одну і, віддавши за неї останній двадцять копійок, приніс додому. Це портрет старого в азіатських одязі, здавалося, незакінчений, але схоплений такою сильною пензлем, що очі на портреті дивилися, як живі. Будинки Чартков дізнається, що приходив господар з квартальним, вимагаючи плати за квартиру. Досада Чарткова, вже пошкодував про двадцять копійок і сидить, по бідності, без свічки, множиться. Він не без жовчності розмірковує про долю молодого талановитого художника, вимушеного до скромного учнівства, тоді як заїжджі живописці «однією тільки звичною замашкою» виробляють шум і сбирают неабиякий капітал. В цей час погляд його падає на портрет, вже їм забутий, - і зовсім живі, навіть руйнують гармонію самого портрета очі лякають його, повідомляючи йому якесь неприємне почуття. Відправившись спати за ширми, він бачить крізь щілини освітлений місяцем портрет, також втуплювали в нього погляд. У страху Чартков завішують його простирадлом, але то йому ввижаються очі, що просвічуються через полотно, то здається, що простирадло зірвана, нарешті, він бачить, що простирадла і справді вже немає, а старий ворухнувся і виліз з рам. Старий заходить до нього за ширми, сідає в ногах і приймається перераховувати гроші, що виймає з принесеного з собою мішка. Один згорток з написом «1000 червінців» відкочується в бік, і Чартков вистачає його непомітно. Відчайдушно стискає гроші, він прокидається; рука відчуває тільки що була в ній тяжкість. Після низки змінюють один одного кошмарів він прокидається пізно і важко. Прийшовши з господарем квартальний, дізнавшись, що грошей немає, пропонує розплатитися роботами. Портрет старого залучає його увагу, і, розглядаючи полотно, він необережно стискає рами, - на підлогу падає відомий Чарткову згорток з написом «1000 червінців».
У той же день Чартков розплачується з господарем і, втішаючись історіями про скарби, заглушивши перший рух накупити фарб і замкнутися року на три в майстерні, знімає розкішну квартиру на Невському, одягається Щоголєв, дає оголошення в ходячою газеті, - і вже назавтра приймає замовницю. Важлива дама, описавши бажані деталі майбутнього портрета своєї дочки, веде її, коли Чартков, здавалося, тільки розписався і готовий був схопити щось головне в її особі. Наступного разу вона залишається незадоволена проявився схожістю, жовтизною обличчя і тінями під очима і, нарешті, приймає за портрет стару роботу Чарткова, Психею, злегка підновляє розсердженим художником.
У стислі терміни Чартков входить в моду: схоплюючи одне загальне вираз, він пише безліч портретів, задовольняючи найрізноманітніші домагання. Він багатий, прийнятий в аристократичних будинках, про художників висловлюється різко і зарозуміло. Багато хто, знали Чарткова перш, дивуються, як міг зникнути в ньому талант, настільки помітний спочатку. Він важливий, докоряє молодь в аморальності, стає скнарою і одного разу, на запрошення Академії мистецтв, прийшовши подивитися на прислане з Італії полотно одного з колишніх товаришів, бачить досконалість і розуміє всю безодню свого падіння. Він замикається в майстерні і занурюється в роботу, але змушений щохвилини зупинятися через незнання азбучних істин, вивченням яких знехтував на початку свого терену. Незабаром їм опановує страшна заздрість, він приймається скуповувати кращі твори мистецтва, і лише після швидкої його смерті від гарячки, що з'єдналася з чахоткою, стає ясно, що шедеври, на придбання яких ужив він все своє величезні статки, були їм жорстоко знищені. Смерть його жахлива: страшні очі старого Мерешень йому всюди.
Історія Чарткова мала деяке пояснення Після невеликого проміжку часу на одному з аукціонів Петербурга.Серед китайських ваз, меблів і картин увагу багатьох приваблює дивовижний портрет якогось азіатцем, чиї очі виписані з таким мистецтвом, що здаються живими. Ціна зростає вчетверо, і тут виступає художник Б., який заявляє про свої особливих правах на це полотно. На підтвердження цих слів він розповідає історію, що трапилася з його батьком.
Змалювавши для початку частина міста, іменовану Коломна, він описує колись жив там лихваря, велетня азіатської зовнішності, здатного позичити любою сумою будь-якого хоче, від нішею старої до марнотратних вельмож. Його відсотки здавалися невеликими і терміни виплати досить вигідними, однак дивними арифметичними викладками сума, що підлягає поверненню, зростала неймовірно. Найстрашніше ж всього була доля тих, хто отримував гроші з рук зловісного азіатцем. Історія молодого блискучого вельможі, згубна зміна в характері якого накликала на нього гнів імператриці, завершилася його божевіллям і смертю. Життя чудний красуні, заради весілля з якою її обранець зробив позику в лихваря (бо батьки нареченої бачили перешкоду шлюбу в розладнаному стан справ нареченого), життя, отруєна в один рік отрутою ревнощів, нетерпимості і капризами, що з'явилися раптом в перш благородній характер чоловіка. Спокусившись навіть і на життя дружини, нещасний наклав на себе руки. Безліч не настільки помітних історій, оскільки трапилися вони в нижчих класах, також пов'язувалося з ім'ям лихваря.
Батько оповідача, художник-самоук, збираючись зобразити духу тьми, нерідко подумував про страшний своєму сусідові, і одного разу той сам є до нього і вимагає малювати з себе портрет, щоб залишитися на картині «абсолютно як живий». Батько з радістю береться за справу, але чим краще йому вдається схопити зовнішність старого, чим живіше виходять очі на полотні, тим більше опановує їм тяжке почуття. Не маючи вже сил виносити зростаюче відраза до роботи, він відмовляється продовжувати, а благання старого, що пояснює, що після смерті життя його збережеться в портреті надприродною силою, лякають його остаточно. Він тікає, незакінчений портрет приносить йому служниця старого, а сам лихвар назавтра вмирає. Згодом художник зауважує в собі зміни: відчуваючи заздрість до свого учня, він шкодить йому, в його картинах проявляються очі лихваря. Коли він збирається спалити страшний портрет, його випрошує приятель. Але і той змушений незабаром збути його племіннику; позбувся нього і племінник. Художник розуміє, що частина душі лихваря вселилася в жахливий портрет, а смерть дружини, дочки і малолітнього сина остаточно запевняють його в тому. Він поміщає старшого в Академію мистецтв і відправляється в монастир, де веде строге життя, вишукуючи всі можливі міри самовідданості. Нарешті він береться за пензель і цілий рік пише різдво Ісуса. Праця його - диво, сповнене святості. Синові ж, приїхав попрощатися перед подорожжю в Італію, він повідомляє безліч думок своїх про мистецтво і серед деяких настанов, розповівши історію з лихварем, заклинає знайти що ходить по руках портрет і винищити його. І ось тепер, після п'ятнадцяти років марних пошуків, оповідач нарешті відшукав цей портрет, - і коли він, а разом з ним і натовп слухачів, повертається до стіни, портрета на ній вже немає. Хтось каже: «Викрадено». Можливо й так.