В теге для вашего определения вам нужно добавить атрибут:
NavigateForFormsPages="FALSE"
Этого нет в документации по CAML.
К вашему сведению, существует также свойство выбора приложения для открытия документа:
BrowserFileHandling="permissive"
Я нашел это, сохранив список в виде шаблона, загрузив файл STP, изменив расширение на .cab, извлекая и просматривая файл манифеста.
Соответствующая строка была:
<List Name="{AFB613BE-5A3E-47FB-989C-FD4FB060AEE8}" Title="test" Description="" Direction="0" BaseType="0" FeatureId="{00BFEA71-DE22-43B2-A848-C05709900100}" ServerTemplate="100" Url="Lists/test" FolderCreation="FALSE" NavigateForFormsPages="TRUE" BrowserFileHandling="permissive" Version="1">