Наведено результати комплексного дослідження нелінійно-оптичних (НЛО) та спектральних властивостей системи, що складається у матриці рідких кристалів (РК) <$E4 prime>-н-пентил-4-ціанобіфенілу (5ЦБ) та домішки антрахінонового (АХ) барвника. У якості методів дослідження використано фотоіндуковані зміни показника заломлення та коефіцієнта поглинання за самовпливу лазерного випромінювання в середовищі, спектроскопію поглинання у видимій та ІЧ областях, генерацію третьої гармоніки, а також спектроскопію фотолюмінесценції (ФЛ). Вперше спостережено смугу ФЛ на 720 нм з часом висвічення близьким до 3 мс і досліджено структуру її спектра збудження. Встановлено, що дана смуга з'являється в результаті гасіння ФЛ молекул матриці за додавання домішки АХ барвника. Виявлено, що залежність дійсної й уявної частини кубічної НЛО сприйнятливості <$Echi sup (3)> системи РК з домішкою АХ барвника від концентрації барвника <$Ec sub w> за збудження імпульсами пікосекундного діапазону в області прозорості системи (<$Elambda ~=~532~ roman нм>) має квадратичний характер <$ERe( nothing sub { chi sup (3) })> ~ <$Ec sub w sup 2> та <$EIm( nothing sub { chi sup (3) })> ~ <$Ec sub w sup 2>, що пояснюється кооперативним ефектом відгуку підсистеми барвника. Показано, що концентраційна залежність дійсної частини <$E chi sup (3)> системи гомеотропно-орієнтованого РК з АХ від концентрації АХ за резонансного збудження молекул АХ випромінюванням He - Ne має кубічний характер <$ERe( nothing sub { chi sup (3) })> ~ <$Ec sub w sup 3>, що пояснюється відгуком взаємодіючих між собою молекул барвника.