при условии, что у вас есть массив из этих четырех массивов ....
проблема может заключаться в том, что не каждый $ my_albumsdata содержит «обложку».
if(array_key_exists("cover", $my_albumsdata)) echo $my_albumsdata["cover"];
^ должно быть быстрым решением, но без контекста, я не уверен, работает ли это для вас.