Чтобы проверить, существует ли имя, вам нужно скопировать rsult в переменную, которую вы проверяете
CREATE DEFINER=`root`@`localhost` PROCEDURE `AddStudent`(in Firstname varchar(50)
,in Lastname varchar(50)
,in email varchar(50)
,out smessage varchar(500) )
BEGIN
SELECT first_name INTO @firstname FROM web_student_tracker.student where first_name in (Firstname);
if @firstname IS NULL then
set smessage="Name not exsists";
else
insert into student(first_name, last_name, email) values(Firstname,Lastname,email);
END IF;
END