Цветът (или неговото отсъствие) е може би най-важният фактор, определящ цената на скъпоценните камъни, както и тяхната най-очевидна видима характеристика, но на практика той е само едно от множеството оптически свойства, всички от които зависят от наличната светлина. В повечето случаи, само цветът е недостатъчен за идентифицирането на съответния скъпоценен камък, тъй като много различни скъпоценни камъни могат да имат еднакъв цвят, както и един скъпоценен камък може да съществува в много различни цветове.

Обикновено наличието в свързан вид и/или под форма на примеси на различни метали или комбинацията от тях в структурата на даден скъпоценен камък определя неговия цвят. Основните “цветоопределящи” метали са хром, желязо, кобалт, мед, манган, никел и ванадий. Те поглъщат част от видмия светлинен спектър, като по този начин определят оцветяването на скъпоценния камък. В случая на циркона и опушения кварц, характерното оцветяване е следствие от деформации във вътрешната структура на кристала (кристалната решетка), а не от наличието на примеси от друга субстанция.

Разстоянието, което светлинните лъчи преминават във вътрешността на камъка също влияе върху поглъщането на определена част от светлинния спектър, съответно върху цвета. Това се използва от добрите майстори на обработка на скъпоценните камъни – по светло-оцветените скъпоценни камъни се оформят в по-масивен вид или остеняването им се извършва по такъв начин, че пътят на светлината в камъка да е по-дълъг и поглъщането по-силно, т.е. да се придаде по-голяма наситеност на цвета. Материали с много тъмен цвят (напр. гранат – алмандин) се обработват в по-тънки изделия.
Изкуственото осветление също има влияние върху цвета на камъните, тъй като обикновено се различава по характер от естествената дневна светлина. Цветът на определени камъни (напр. сапфир) се влияе неблагоприятно от светлината на източник с нажежаема жичка, докато други камъни (рубин и изумруд) придобиват особен ефект на излъчване при такава светлина. Най-характерен пример за промяна на цвета е този с александрита, който на дневна светлина е зелен, а на изкуствена светлина от източник с нажежаема жичка – червен.

Въпреки огромното значение на цвета за скъпоценните камъни, с единственото изключение на диаманта, няма строго дефинирани методи за неговото обективно определяне, които да са общоприети.

Американският Гемологичен Институт предлага описанието на цвета на цветните камъни да се извършва посредством следните три характеристики: Оттенък, Тон и Наситеност, където Оттенъка се определя от преобладаващия или всеки допълнителен цветови нюанс, които се забелязват в камъка, Тонът представлява относителната осветленост/затъмненост на цветовия оттенък или на цветоусещането, а Наситеността представлява силата, чистотата или интензивността на оттенъка, изграждащ възприятието за съответния цвят.

Цветът на скъпоценните камъни, даже в рамките на един вид, може да се изменя в изключително широки граници. Берилът, например, може да се наблюдава във всички цветове на видимия спектър. Оцветената в зелено разновидност на берила се нарича смарагд (изумруд), оцветената в синьо – аквамарин, а камъните с други оттенъци на цвета носят различни имена: биксбит (малинено-червен), морганит (розов до виолетов), хелиодор (светло жълто-зелен). Берилът може да бъде също така и абсолютно безцветен (гошенит). Тази безцветност на практика е истинския му цвят. Нарича се “присъщ” цвят. Всички останали оттенъци са породени от различни примеси в основния минерал.

Присъщият цвят, който е постоянен за всеки един минерал, може да се използва за идентифициране на необработените скъпоценни камъни. Присъщият цвят за всеки камък се определя в стрито състояние. Така например, цветът на метално-сивия хематит в стрито състояние е червен, на пиритът с месингов цвят – черен, а на синия содалит – бял. На практика при тестовете за идентификация камъните не се стриват, а с тях се надрасква плочка от светла керамика. Цветът на следата, т.н. "черта", представлява присъщия цвят. На практика в минералогията и гемологията се използва терминът "черта" (на английски - streak).