Вам не нужна векторная маска;Вы хотите маски слоя.Вот функция, которую я обычно использую.Это поместит маску слоя на слой с выделением.Это не будет работать на пустом слое, однако
makeMask()
// FUNCTION MAKE MASK
function makeMask()
{
var id4556 = charIDToTypeID( "setd" );
var desc983 = new ActionDescriptor();
var id4557 = charIDToTypeID( "null" );
var ref657 = new ActionReference();
var id4558 = charIDToTypeID( "Chnl" );
var id4559 = charIDToTypeID( "fsel" );
ref657.putProperty( id4558, id4559 );
desc983.putReference( id4557, ref657 );
var id4560 = charIDToTypeID( "T " );
var ref658 = new ActionReference();
var id4561 = charIDToTypeID( "Chnl" );
var id4562 = charIDToTypeID( "Chnl" );
var id4563 = charIDToTypeID( "Trsp" );
ref658.putEnumerated( id4561, id4562, id4563 );
desc983.putReference( id4560, ref658 );
executeAction( id4556, desc983, DialogModes.NO );
var id4564 = charIDToTypeID( "Mk " );
var desc984 = new ActionDescriptor();
var id4565 = charIDToTypeID( "Nw " );
var id4566 = charIDToTypeID( "Chnl" );
desc984.putClass( id4565, id4566 );
var id4567 = charIDToTypeID( "At " );
var ref659 = new ActionReference();
var id4568 = charIDToTypeID( "Chnl" );
var id4569 = charIDToTypeID( "Chnl" );
var id4570 = charIDToTypeID( "Msk " );
ref659.putEnumerated( id4568, id4569, id4570 );
desc984.putReference( id4567, ref659 );
var id4571 = charIDToTypeID( "Usng" );
var id4572 = charIDToTypeID( "UsrM" );
var id4573 = charIDToTypeID( "RvlS" );
desc984.putEnumerated( id4571, id4572, id4573 );
executeAction( id4564, desc984, DialogModes.NO );
}