サンプル PrimeFaces - ShowCase には載っていませんが、
faces-config.xml に
<application> <action-listener>org.primefaces.application.DialogActionListener</action-listener> <navigation-handler>org.primefaces.application.DialogNavigationHandler</navigation-handler> <view-handler>org.primefaces.application.DialogViewHandler</view-handler> </application>
が必要だそうです。
ajax - jsf 2 primefaces openDialog not working? - Stack Overflow
公式のユーザーガイドにも載ってました。