The photographer
「その写真家」を指します。
experimented with
「～を試した」または「～で実験した」という意味です。
various quadtone settings
さまざまな4色調に関する設定や調整を指します。
in Photoshop
Adobe Photoshopという画像編集ソフトウェアの内部で、という意味です。
to enhance
「～を高めるために」という目的を表す不定詞句です。
the mood
「その雰囲気」や「そのムード」を指します。
of the portrait
「その肖像画」や「そのポートレート」に関する、という意味です。