Не знаю, правильно ли я понял твой вопрос. В любом случае, используемый вами метод inflate просто раздувает этот макет custom_dialog как дочерний элемент существующей VievGroup. Вам не нужно ничего делать в ваших папках, нет никакой связи между этим кодом и иерархией каталогов.
Это 2 параметра, которые метод получает (из документа):
resource ID for an XML layout resource to load (e.g., R.layout.main_page)
root Optional view to be the parent of the generated hierarchy.
Этот небольшой пример, возможно, проясняет ваши сомнения. Эта строка кода:
LinearLayout lLayout = inflater.inflate(R.layout.buttons, R.id.layout1);
эквивалентно:
Button b = (Button) inflater.inflate(R.layout.buttons, null);
LinearLayout lLayout = (LinearLayout)findViewById(R.id.layout1);
lLayout.addView(b);