Het verhaal speelt zich af omstreeks 1888. Aan het begin is Sherlock Holmes al enige tijd zonder zaak; bij gebrek aan denkwerk gebruikt hij nu driemaal daags cocaïne, tot ergernis van zijn huisgenoot dr. Watson.
Op de dag dat Watson er iets van zegt worden ze benaderd door Miss Mary Morstan, die hun vraagt mee te helpen met de zoektocht naar haar vader. Hij was officier in India, maar is 10 jaar geleden verdwenen toen hij terug zou komen naar Engeland. Een paar jaar daarna trof ze een advertentie in de krant die vroeg om het adres van Miss Morstan; toen zij reageerde werd er een parel bij haar bezorgd, van een anonieme afzender. De afgelopen zes jaar werd er steeds een nieuwe parel opgestuurd. Nu heeft zij echter een brief van de geheimzinnige afzender ontvangen. Dit brengt de drie in contact met Thaddeus Sholto. Van hem vernemen ze dat zijn vader goed bevriend was met Morstans vader en met hem in dezelfde legereenheid diende in India: zij waren officieren in een strafkolonie. Hij vertelt echter ook dat beide mannen dood zijn en dat er een schat in het spel is. Miss Morstan beschikt inderdaad over een soort geheimzinnige kaart, gevonden in de bagage van haar vader toen hij verdween. De kaart bevat onderin een vreemd teken: vier aan elkaar grenzende kruizen, met daaronder vier namen - waarvan drie Indiase en één Britse - en het onderschrift ‘Het Teken van de Vier’. Volgens Sholto was zijn vader elf jaar geleden uit India teruggekomen als een rijk man, maar was hij ook opvallend bang voor mannen met houten benen. Op zijn sterfbed wil majoor Sholto aan zijn zoons het geheim onthullen, maar hij blaast zijn laatste adem uit voor het zover is.
