Winter'16でContentDocumentLinkオブジェクトが追加され、Apexトリガを作成できるようになりました。これにより、特定の拡張子を持つファイルをアップロードできなくしたり、コンテンツが管理ライブラリに公開されたら、同じコンテンツを別のライブラリに公開するということが可能になるみたいです。
Pre-Release環境でアップロード時のファイル種別チェック処理を試してみました。
このトリガは設定のSalesforce Filesのトリガから確認できます。
アップロード時にエラーとなる拡張子のファイルだった場合は、アラートメッセージを表示できます。