GitLab最佳实践 -- 集成git-secrets扫描敏感信息

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了GitLab最佳实践 -- 集成git-secrets扫描敏感信息，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含4765字，纯文字阅读大概需要7分钟。

内容图文

随着互联网的快速发展，信息安全问题也变得越来越重要，对于代码仓库管理员来说，我们需要通过代码扫描工具防止开发者将企业系统中的账号密码和其他敏感信息提交到Git仓库。从而避免这些敏感信息泄露到互联网。

AWS的git-secrets
（https://github.com/awslabs/git-secrets)。提供了一种扫描代码文件的方法。下面我分享一下我们项目组使用git-secrets的一些经验。

起初，我们要求所有开发在本地安装git-secrets工具，这样能使他们在commit/push代码的时候及时发现代码中是否存在敏感信息，若是存在则会阻止代码推送到Git服务器仓库。真的这样是一种很好的方式。但是在实施的过程中还是存在开发人员将敏感信息写在代码中，并且上传到GitHub（是的，最早我们没有自建代码仓库，使用了GitHub私有仓库）。

后来，我们搭建了私有GitLab，将GItHub代码仓库迁移到了GitLab。并且在GitLab服务器安装git-secrets。通过编写扫描脚本，定时扫描所有代码仓库，将扫描结果以邮件形式发送给所有开发人员。

def scan_all_repository():
    root = "/var/opt/gitlab/git-data/repositories"
    cmd = "find {} -name '*.git'".format(root)
    status_code, output = subprocess.getstatusoutput(cmd)
    result = []
    if status_code == 0:
        files = output.split("\n")
        total = len(files)
        for idx, name in enumerate(files):
            if idx % 10 == 0:
                print("[{}] This is {}/{}".format(datetime.datetime.now(), idx, total))
            os.chdir(name)
            cmd = "git secrets --scan-history {}".format(name)
            status_code, output = subprocess.getstatusoutput(cmd)
            if status_code == 1:
              result.append("****************************************************")
                result.append("name: {}".format(name))
                result.append(output)
        print("[{}] Total: {}".format(datetime.datetime.now(), total))
    return "\n".join(result)

这种方式也很好，但并不是最佳的做法，因为客户端始终可以将敏感信息提交到服务器的代码仓库。

最后，我们采用Git Hooks的方式，在GitLab服务器使用git-secrets。如果开发人员在客户端没有进行git-secrets扫描，我们在服务器进行git-secrets扫描。若是代码中存在敏感信息，将阻止客户端的push操作。

接下来我们详细介绍GitLab如何集成git-secrets。

Step1、进入服务器Gitlab Docker容器。安装git-secrets。

docker exec -it gitlab /bin/bash

apt-get -y update \
    && apt-get -y install build-essential \
    && git clone https://github.com/awslabs/git-secrets /var/opt/git-secrets \
    && cd /var/opt/git-secrets \
    && make install

Step2、编写Git Hooks脚本

# git-secrets.sh

#!/usr/bin/env bash

refname=$1
oldrev=$2
newrev=$3

echo "Executing git-secrets"
echo ""

# use git-secrets aws-provider git configuration
HOME=/opt/git-hooks

# add git-secrets to path
PATH=$PATH:/usr/local/bin

# handle empty repository
if [ "$oldrev" = "0000000000000000000000000000000000000000" ]; then
  oldrev=4b825dc642cb6eb9a060e54bf8d69288fbee4904
fi

for i in $(git show $newrev:.gitallowed 2>/dev/null); do
  git secrets --add --allowed $i;
done

exitcode='0'
FILES=`git diff --name-status $oldrev $newrev | awk '{print $2}'`
for filepath in $FILES; do
  if [ "$filepath" = ".gitallowed" ]; then
    echo "Skipping $filepath ..."
  else
    echo "Scanning $filepath ..."
  fi
  git show $newrev:$filepath | git secrets --scan -
  result=$?
  if [ "$result" != "0" ]; then
    exitcode=$result
  fi
done

if [ "$exitcode" != "0" ]; then
    echo ""
    echo "Listing configuration ..."
    echo ""
    git secrets --list
    echo ""
    echo "Please fix the above issues by running \`git reset HEAD~1\`, and encrypting the secrets."
    echo ""
    echo "To prevent committing secrets in the future, install git-secrets on your local machine."
    echo "    https://github.com/awslabs/git-secrets"
    echo ""
    echo "Add AWS configuration template to add hooks to all repositories you initialize or clone in the future."
    echo "     git secrets --register-aws --global"
    echo ""
    echo "Add hooks to all your local repositories."
    echo "    git secrets --install ~/.git-templates/git-secrets"
    echo "    git config --global init.templateDir ~/.git-templates/git-secrets"
    echo ""
    exit 1
fi

Step3、配置 gitconfig

# .gitconfig

[user]
  name = GitLab
  email = xxx
[core]
  autocrlf = input
[gc]
  auto = 0
[secrets]
  providers = git secrets --aws-provider
  patterns = [A-Z0-9]{20}
  patterns = (\"|')?(AWS|aws|Aws)?_?(SECRET|secret|Secret)?_?(ACCESS|access|Access)?_?(KEY|key|Key)(\"|')?\\s*(:|=>|=)\\s*(\"|')?[A-Za-z0-9/\\+=]{40}(\"|')?
  patterns = (\"|')?(AWS|aws|Aws)?_?(ACCOUNT|account|Account)_?(ID|id|Id)?(\"|')?\\s*(:|=>|=)\\s*(\"|')?[0-9]{4}\\-?[0-9]{4}\\-?[0-9]{4}(\"|')?
  allowed = AKIAIOSFODNN7EXAMPLE
  allowed = wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY

Step4、将上诉文件复制到指定目录。

cp .gitconfig /opt/git-hooks/
cp git-secrets.sh /opt/git-hooks/
chown -R git:git /opt/git-hooks

Step5、修改gitlab配置文件。

vim /etc/gitlab/gitlab.rb

gitlab_shell['custom_hooks_dir'] = 'opt/git-hooks'

最后，重启Gitlab。

docker restart gitlab

重启完成后，我们测试一下。

echo "AKIAIOSFODVERYSECRET wJalrXUtnFEMI/K7MDENG/bPxRfiCYVERYSECRET" > README.md
git add README.md
git commit -m "Test gitlab server side git-secrets"
git push origin master

如果您喜欢这篇文章，请考虑关注我。

长沙DevOps联盟 - 关注容器技术，K8S，自动化部署，基础设施架构。

内容总结

以上是互联网集市为您收集整理的GitLab最佳实践 -- 集成git-secrets扫描敏感信息全部内容，希望文章能够帮你解决GitLab最佳实践 -- 集成git-secrets扫描敏感信息所遇到的程序开发问题。 如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

---