потоковые журналы для упругости с использованием шаблона облачной информации

Question

Журналы Cloudtrail по умолчанию могут быть переданы в доменasticsearch, как показано на этом изображении. Как мне добиться этого с помощью шаблона облачной информации?

Answer 1

Обновление:

Если вы используете aws-cli, взгляните на мой ответ здесь .

---

Хорошо,после нескольких часов изучения и прочтения большого количества документации мне наконец удалось создать этот шаблон.

Обзор дизайнера:

Чтобы активировать потоковые журналы наasticsearch, нам нужно создать следующие ресурсы:

1. Лямбда-функция будет пересылать журналы из группы журналов cloudwatch в Elasticsearch.
2. Соответствующая роль IAM вполучить журналы из cloudwatch и вставить в Elasticsearch.
3. Лямбда-разрешение - The AWS::Lambda::Permission resource grants an AWS service or another account permission to use a function, чтобы разрешить группе журналов cloudwatch запускать лямбду.
4. Фильтр подписки - The AWS::Logs::SubscriptionFilter resource specifies a subscription filter and associates it with the specified log group. Subscription filters allow you to subscribe to a real-time stream of log events and have them delivered to a specific destination.

Использование шаблона:

1. Загрузите LogsToElasticsearch.zip со страницы Github .
2. Обновление var endpoint = '${Elasticsearch_Endpoint}'; в index.js с вашим URL-адресом Elasticseatch, например - 'search-xxx-yyyy.eu-west-1.es.amazonaws.com';.
3. Скопируйте zip-файл в s3корзина, которая будет использоваться в шаблоне (LambdaArtifactBucketName).
4. Заполнить соответствующие параметры - вы можете найти описания для каждого ресурса.

Шаблон YAML:

AWSTemplateFormatVersion: 2010-09-09
Description: Enable logs to elasticsearch
Parameters:
  ElasticsearchDomainName:
    Description: Name of the Elasticsearch domain that you want to insert logs to
    Type: String
    Default: amitb-elastic-domain
  CloudwatchLogGroup:
    Description: Name of the log group you want to subscribe
    Type: String
    Default: /aws/eks/amitb-project/cluster
  LambdaName:
    Description: Name of the lambda function
    Type: String
    Default: amitb-cloudwatch-logs
  LambdaRole:
    Description: Name of the role used by the lambda function
    Type: String
    Default: amit-cloudwatch-logs-role
  LambdaArtifactBucketName:
    Description: The bucket where the lambda function located
    Type: String
    Default: amit-bucket
  LambdaArtifactName:
    Description: The name of the lambda zipped file
    Type: String
    Default: LogsToElasticsearch.zip
  VPC:
    Description: Choose which VPC the Lambda-functions should be deployed to
    Type: 'AWS::EC2::VPC::Id'
    Default: vpc-1111111
  Subnets:
    Description: Choose which subnets the Lambda-functions should be deployed to
    Type: 'List<AWS::EC2::Subnet::Id>'
    Default: 'subnet-123456789,subnet-123456456,subnet-123456741'
  SecurityGroup:
    Description: Select the Security Group to use for the Lambda-functions
    Type: 'List<AWS::EC2::SecurityGroup::Id>'
    Default: 'sg-2222222,sg-12345678'
Resources:
  ExampleInvokePermission:
    Type: 'AWS::Lambda::Permission'
    DependsOn: ExampleLambdaFunction
    Properties:
      FunctionName:
        'Fn::GetAtt':
          - ExampleLambdaFunction
          - Arn
      Action: 'lambda:InvokeFunction'
      Principal: !Sub 'logs.${AWS::Region}.amazonaws.com'
      SourceArn: !Sub >-
        arn:aws:logs:${AWS::Region}:${AWS::AccountId}:log-group:${CloudwatchLogGroup}:*
      SourceAccount: !Ref 'AWS::AccountId'
  LambdaExecutionRole:
    Type: 'AWS::IAM::Role'
    Properties:
      RoleName: !Ref LambdaRole
      ManagedPolicyArns:
        - 'arn:aws:iam::aws:policy/service-role/AWSLambdaBasicExecutionRole'
      AssumeRolePolicyDocument:
        Version: 2012-10-17
        Statement:
          - Effect: Allow
            Principal:
              Service:
                - lambda.amazonaws.com
            Action:
              - 'sts:AssumeRole'
      Path: /
      Policies:
        - PolicyName: lambda-to-es-via-vpc-policy
          PolicyDocument:
            Version: 2012-10-17
            Statement:
              - Effect: Allow
                Action:
                  - 'es:*'
                Resource:
                  - !Sub >-
                    arn:aws:es:${AWS::Region}:${AWS::AccountId}:domain/${ElasticsearchDomainName}
        - PolicyName: logs-and-ec2-permissions
          PolicyDocument:
            Version: 2012-10-17
            Statement:
              - Effect: Allow
                Action:
                  - 'ec2:CreateNetworkInterface'
                  - 'ec2:DescribeNetworkInterfaces'
                  - 'ec2:DeleteNetworkInterface'
                  - 'logs:CreateLogGroup'
                  - 'logs:CreateLogStream'
                  - 'logs:PutLogEvents'
                Resource: '*'
  ExampleLambdaFunction:
    Type: 'AWS::Lambda::Function'
    DependsOn: LambdaExecutionRole
    Properties:
      Code:
        S3Bucket: !Ref LambdaArtifactBucketName
        S3Key: !Ref LambdaArtifactName
      FunctionName: !Ref LambdaName
      Handler: !Sub '${LambdaName}.handler'
      Role:
        'Fn::GetAtt':
          - LambdaExecutionRole
          - Arn
      Runtime: nodejs8.10
      Timeout: '300'
      VpcConfig:
        SecurityGroupIds: !Ref SecurityGroup
        SubnetIds: !Ref Subnets
      MemorySize: 512
  SubscriptionFilter:
    Type: 'AWS::Logs::SubscriptionFilter'
    DependsOn: ExampleInvokePermission
    Properties:
      LogGroupName: !Ref CloudwatchLogGroup
      FilterPattern: '[host, ident, authuser, date, request, status, bytes]'
      DestinationArn:
        'Fn::GetAtt':
          - ExampleLambdaFunction
          - Arn

Результаты:

Журнал Cloudwatch:

Надеюсь, вы найдете это полезным.