Druhý díl románu se plně odehrává v pochmurném průmyslovém městě Milton, zatímco vzpomínky na slunečný Helstone na jihu se rodině Haleových jen občas vybaví. Po návštěvě u Thorntonových je Margaret v rozporu se svými city k panu Thorntonovi. Obdivuje ho, ale zároveň ji odpuzuje jeho přísnost a necitlivost. Jak to vysvětluje otci, její vztah k němu je jako ochutnávka olivy – zpočátku nepříjemná, ale nakonec přijatelná. Zamilovaný Thornton sice přesvědčí svou matku, aby s ním souhlasila, ale jeho naděje se zhroutí, když Margaret jasně dá najevo, že se za něj nikdy neprovdá. Umírající paní Haleová požádá Margaret, aby napsala svému bratrovi Frederickovi, který se kvůli účasti na námořní vzpouře nemůže vrátit do Anglie. Frederick přijede včas, aby se s matkou rozloučil, ale její smrt otce i jeho samotného hluboce zasáhne. Margaret a paní Dixonová se snaží jim dodat sílu. Frederick musí co nejdříve opustit zemi, protože mu hrozí zatčení a poprava. Do děje se tak zaplete i Henry Lennox, který mu má pomoci prokázat nevinu. Haleovi však nejsou jediní, kdo ví o Frederickově návratu a o odměně, která je za jeho dopadení vypsaná. Jeho dramatický útěk z Miltonu, při kterém dojde k nešťastné události, ještě více zatemní Margaretinu situaci. V zájmu bratrovy záchrany je nucena lhát a zoufalství ji ovládne, když zjistí, že do celé záležitosti je zapojen i pan Thornton.