Cloudformation - как установить политику фильтрации подписки SNS в коде?

Question

ОБНОВЛЕНИЕ: Cloudformation теперь поддерживает SNS Topic Filters, поэтому этот вопрос больше не актуален, никаких пользовательских плагинов или кода не требуется.

Я строю систему с несколькими темами SNS и несколькими лямбдами, каждый из которых читает сообщения из назначенной им очереди SQS. Очереди SQS подписаны на темы SNS, но также имеют политику фильтрации, поэтому сообщения попадают в соответствующие очереди SQS.

Хорошо работает, когда я настраиваю подписки в консоли AWS.

Сейчас я пытаюсь сделать то же самое в своем коде, но в документации AWS Cloudformation не описано, как добавить политику фильтрации в подписку. Основываясь на примерах python здесь , я попробовал следующее:

  StopOperationSubscription:
    Type: "AWS::SNS::Subscription"
    Properties:
      Protocol: sqs
      TopicArn: 
        Ref: StatusTopic
      Endpoint: 
        Fn::GetAtt: [StopActionQueue, Arn]
      FilterPolicy: '{"value": ["stop"]}'

Но тогда я получаю эту ошибку:

An error occurred: StopOperationSubscription - Encountered unsupported property FilterPolicy.

Как я могу установить необходимую политику фильтрации с помощью CloudFormation? И если это не поддерживается, что вы предлагаете в качестве альтернативы?

Я хочу, чтобы он настраивался автоматически при развертывании моего безсерверного приложения, без каких-либо ручных действий.

Answer 1

Cloudformation только начала поддерживать FilterPolicy вчера. Я тоже некоторое время боролся:)

Синтаксис

JSON

{
  "Type" : "AWS::SNS::Subscription",
  "Properties" : {
    "DeliveryPolicy" : JSON object,
    "Endpoint" : String,
    "FilterPolicy" : JSON object,
    "Protocol" : String,
    "RawMessageDelivery" : Boolean,
    "Region" : String,
    "TopicArn" : String
  }
}

YAML

Type: "AWS::SNS::Subscription"
Properties:
  DeliveryPolicy: JSON object
  Endpoint: String
  FilterPolicy: JSON object
  Protocol: String
  RawMessageDelivery: Boolean,
  Region: String
  TopicArn: String

Ref:

https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/aws-resource-sns-subscription.html#cfn-sns-subscription-filterpolicy

https://aws.amazon.com/blogs/compute/managing-amazon-sns-subscription-attributes-with-aws-cloudformation/

Answer 2

Если вы используете без сервера, теперь он поддерживает встроенный sns-фильтр

functions:
  pets:
    handler: pets.handler
    events:
      - sns:
          topicName: pets
          filterPolicy:
            pet:
              - dog
              - cat

https://serverless.com/framework/docs/providers/aws/events/sns#setting-a-filter-policy

Answer 3

Я исправил это так:

serverless.yml

plugins:
  - serverless-plugin-scripts
custom:
  scripts:
    commands:
      update-topic-filters: sls invoke local -f configureSubscriptions --path resources/lambdaTopicFilters.json
    hooks:
      before:deploy:finalize: sls update-topic-filters


functions:
  configureSubscriptions:
    handler: src/configurationLambdas/configureSubscriptions.main
    # Only invoked when deploying - therefore, no permissions or triggers are needed.

configureSubscriptions.js

import AWS from 'aws-sdk'

const nameFromArn = arn => arn.split(':').pop()
const lambdaNameFromArn = arn =>
  nameFromArn(arn)
    .split('-')
    .pop()

exports.main = async event => {
  const sns = new AWS.SNS({ apiVersion: '2010-03-31' })
  const params = {}
  const { Topics } = await sns.listTopics(params).promise()
  for (const { TopicArn } of Topics) {
    const topicName = nameFromArn(TopicArn)
    const filtersForTopic = event[topicName]
    if (!filtersForTopic) {
      continue
    }
    const { Subscriptions } = await sns.listSubscriptionsByTopic({ TopicArn }).promise()
    for (const { Protocol, Endpoint, SubscriptionArn } of Subscriptions) {
      if (Protocol === 'lambda') {
        const lambdaName = lambdaNameFromArn(Endpoint)
        const filterForLambda = filtersForTopic[lambdaName]
        if (!filterForLambda) {
          continue
        }

        const setPolicyParams = {
          AttributeName: 'FilterPolicy',
          SubscriptionArn,
          AttributeValue: JSON.stringify(filterForLambda),
        }
        await sns.setSubscriptionAttributes(setPolicyParams).promise()
        // eslint-disable-next-line no-console
        console.log('Subscription filters has been set')
      }
    }
  }
}

Верхний уровень - это разные имена тем, следующий уровень - это лямбда-имена, а третий уровень - это политики фильтра для связанных подписок:

lambdaTopicFilters.json

{
  "user-event": {
    "activateUser": {
      "valueType": ["status"],
      "value": ["awaiting_activation"]
    },
    "findActivities": {
      "messageType": ["event"],
      "value": ["awaiting_activity_data"],
      "valueType": ["status"]
    }
  },
  "system-event": {
    "startStopProcess": {
      "valueType": ["status"],
      "value": ["activated", "aborted", "limit_reached"]
    }
  }
}