首页 / 日志 / Kubernetes：日志聚合分析系统—Loki的搭建与使用

Kubernetes：日志聚合分析系统—Loki的搭建与使用

内容导读

互联网集市收集整理的这篇技术教程文章主要介绍了Kubernetes：日志聚合分析系统—Loki的搭建与使用，小编现在分享给大家，供广大互联网技能从业者学习和参考。文章包含6373字，纯文字阅读大概需要10分钟。

内容图文

日志聚合分析系统——Loki

什么是Loki？

Loki 是 Grafana Labs 团队最新的开源项目，是一个水平可扩展，高可用性，多租户的日志聚合系统。它的设计非常经济高效且易于操作，因为它不会为日志内容编制索引，而是为每个日志流编制一组标签，专门为 Prometheus 和 Kubernetes 用户做了相关优化。

与传统日志收集系统(例ELK)相比，Loki的优势有哪些？

不对日志进行全文索引。通过存储压缩非结构化日志和仅索引元数据，Loki操作起来会更简单，更省成本
通过与 Prometheus 相同的标签记录流对日志进行索引和分组，这使得日志的扩展和操作效率更高
特别适合存储 Kubernetes Pod 日志；诸如 Pod 标签之类的元数据会被自动删除和编入索引
受 Grafana 原生支持，与 Prometheus 配合更加方便

解决痛点？

无需再去其他界面，或者终端上查看单个Pod的日志

整体架构

技术分享图片

Loki的架构并不难，主要是以下三部分组成：

Loki 为主服务器。负责存储日志和处理查询
Promtail 是代理。负责收集日志并将其发送给Loki
Grafana 用来UI展示。

Loki 使用与 Prometheus 相同的服务发现和标签重新标记库，编写了 Promtail。在 Kubernetes 中 Promtail 以 DaemonSet 方式运行在每个节点中，通过 Kubernetes API 得到日志的正确元数据，并将它们发送到Loki，如下图：

技术分享图片

可以看到，Loki中主要的组件有Distributor、Ingester和Querier三个。

负责写入的组件有Distributor和Ingester两个：

技术分享图片

Distributor

Promtaif 一旦将日志发送给Loki，Distributor 就是第一个接收日志的组件。由于日志的写入量可能很大，所以不能在它们传入时并行写入数据库，要先进行批处理和压缩数据。

Distributor 接收到 HTTP 请求，用于存储流数据
通过 hash 环对数据流进行 hash
通过hash算法计算出应该发送到哪个Ingester后，发送数据流
Ingester新建Chunks或将数据追加到已有的Chunk上

技术分享图片

Ingester

Ingester 接收到日志并开始构建 Chunk：

技术分享图片

Ingester 是一个有状态组件，负责构建和刷新Chunk，当Chunk达到一定数量或者时间后，刷新到存储中去，每一个流日志对应一个Ingester。index和Chunk各自使用单独的数据库，因为他们存储额数据类型不同。

负责读的组件则是Querier：

技术分享图片

读取就比较简单，由 Querier 负责给定一个时间范围和标签选择器，也就是收到读请求：

Querier 收到HTTP读请求
Querier 将请求发送至Ingester读取还未写入Chunks的内存数据
随后再去index+chunks中查找数据
Querier 遍历所有数据并进行去重处理，再返回最终结果

搭建使用

上边主要介绍的Loki的工作流程及组件，下面我们实际搭建操作下：

Loki项目地址：https://github.com/grafana/loki/

官网：https://grafana.com/oss/loki/

一、通过Helm部署：

## 添加chart
helm repo add loki https://grafana.github.io/loki/charts

## 更新chart
helm repo update 

## 将loki template下载到本地
helm fetch loki/loki-stack

## 解压并自定义修改参数
tar zxvf loki-stack-2.0.2.tgz
cd loki-stack/ $$ ls
charts  Chart.yaml  README.md  requirements.lock  requirements.yaml  templates  values.yaml

cd charts/ $$ ls
filebeat  fluent-bit  grafana  logstash  loki  prometheus  promtail

开始helm安装前要注意几个点：

1、可以修改values.yaml文件，指定是否开启Grafana、Prometheus等服务，默认不开启的：

loki:
  enabled: true

promtail:
  enabled: true

fluent-bit:
  enabled: false

grafana:
  enabled: true
  sidecar:
    datasources:
      enabled: true
  image:
    tag: 6.7.0

prometheus:
  enabled: false

在此只开启Grafana

修改Grafana的values.yaml，使其Service暴露方式为NodePort(默认为ClusterIp)：

vim charts/grafana/values.yaml

service:
  type: NodePort
  port: 80
  nodePort: 30002  # 端口范围：30000-32767
  targetPort: 3000
    # targetPort: 4181 To be used with a proxy extraContainer
  annotations: {}
  labels: {}
  portName: service

还有一处账号密码可以自定义修改下：

# Administrator credentials when not using an existing secret (see below)
adminUser: admin
adminPassword: admin

2、promtail服务在构建时会自动挂载：

宿主机docker主目录下的containers目录，一般默认都为/var/lib/docker/containers
pod的日志目录，一般默认为/var/log/pods

这就需要特别注意一下，如果是修改过docker默认的存储路径的，需要将mount的路径进行修改，promtail找不到对应的容器日志

具体docker 存储路径，可以使用docker info 命令查询

vim charts/promtail/values.yaml

volumes:
- name: docker
  hostPath:
    path: /data/lib/docker/containers  ## 我的是放在了data下
- name: pods
  hostPath:
    path: /var/log/pods

volumeMounts:
- name: docker
  mountPath: /data/lib/docker/containers  ## 挂载点也要进行修改
  readOnly: true
- name: pods
  mountPath: /var/log/pods
  readOnly: true

开始安装：

helm install -n loki --namespace loki -f values.yaml ../loki-stack
2020/11/11 17:18:54 Warning: Merging destination map for chart ‘logstash‘. The destination item ‘filters‘ is a table and ignoring the source ‘filters‘ as it has a non-table value of: <nil>
NAME:   loki
LAST DEPLOYED: Wed Nov 11 17:18:53 2020
NAMESPACE: loki
STATUS: DEPLOYED

RESOURCES:
==> v1/ClusterRole
NAME                       AGE
loki-promtail-clusterrole  1s
loki-grafana-clusterrole   1s

==> v1/ClusterRoleBinding
NAME                              AGE
loki-promtail-clusterrolebinding  1s
loki-grafana-clusterrolebinding   1s

==> v1/ConfigMap
NAME                  DATA  AGE
loki-grafana          1     1s
loki-grafana-test     1     1s
loki-loki-stack       1     1s
loki-loki-stack-test  1     1s
loki-promtail         1     1s

==> v1/DaemonSet
NAME           DESIRED  CURRENT  READY  UP-TO-DATE  AVAILABLE  NODE SELECTOR  AGE
loki-promtail  2        2        0      2           0          <none>         1s

==> v1/Deployment
NAME          READY  UP-TO-DATE  AVAILABLE  AGE
loki-grafana  0/1    1           0          1s

==> v1/Pod(related)
NAME                         READY  STATUS             RESTARTS  AGE
loki-0                       0/1    ContainerCreating  0         2s
loki-grafana-56bf5d8d-8zcgp  0/1    Init:0/1           0         2s
loki-promtail-6r24r          0/1    ContainerCreating  0         2s
loki-promtail-fvnfc          0/1    ContainerCreating  0         2s

==> v1/Role
NAME               AGE
loki-promtail      1s
loki-grafana-test  1s
loki               1s

==> v1/RoleBinding
NAME               AGE
loki-promtail      1s
loki-grafana-test  1s
loki               1s

==> v1/Secret
NAME          TYPE    DATA  AGE
loki          Opaque  1     1s
loki-grafana  Opaque  3     1s

==> v1/Service
NAME           TYPE       CLUSTER-IP      EXTERNAL-IP  PORT(S)       AGE
loki           ClusterIP  10.109.216.219  <none>       3100/TCP      1s
loki-grafana   NodePort   10.100.203.138  <none>       80:30002/TCP  1s
loki-headless  ClusterIP  None            <none>       3100/TCP      1s

==> v1/ServiceAccount
NAME               SECRETS  AGE
loki               1        1s
loki-grafana       1        1s
loki-grafana-test  1        1s
loki-promtail      1        1s

==> v1/StatefulSet
NAME  READY  AGE
loki  0/1    1s

==> v1beta1/PodSecurityPolicy
NAME               PRIV   CAPS      SELINUX           RUNASUSER  FSGROUP    SUPGROUP  READONLYROOTFS  VOLUMES
loki               false  RunAsAny  MustRunAsNonRoot  MustRunAs  MustRunAs  true      configMap,emptyDir,persistentVolumeClaim,secret,projected,downwardAPI
loki-grafana       false  RunAsAny  RunAsAny          RunAsAny   RunAsAny   false     configMap,emptyDir,projected,secret,downwardAPI,persistentVolumeClaim
loki-grafana-test  false  RunAsAny  RunAsAny          RunAsAny   RunAsAny   false     configMap,downwardAPI,emptyDir,projected,secret
loki-promtail      false  RunAsAny  RunAsAny          RunAsAny   RunAsAny   true      secret,configMap,hostPath,projected,downwardAPI,emptyDir

==> v1beta1/Role
NAME          AGE
loki-grafana  1s

==> v1beta1/RoleBinding
NAME          AGE
loki-grafana  1s

创建完成后，通过暴露的svc访问Grafana：

[root@Centos8 loki-stack]# kubectl get svc -n loki 
NAME            TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)        AGE
loki            ClusterIP   10.109.216.219   <none>        3100/TCP       113s
loki-grafana    NodePort    10.100.203.138   <none>        80:30002/TCP   113s
loki-headless   ClusterIP   None             <none>        3100/TCP       113s

二、开始使用Loki

通过服务器ip+30002访问，登录成功后，有一点需要注意的地方，也是非常容易踩坑的地方！！！

如果是安装Loki时采用的以上方法，开启了Grafana，那系统会自动配置好Data sources，应该不会有什么问题。

但是，如果是手动搭建的Grafana，需要手动添加Data Sources时，一定注意：

数据源名称中的Loki，L一定要是大写！！！

如果不是大写，会导致连接不到Loki源，一般回报错：Error connecting to datasource: Loki: Bad Gateway. 502

技术分享图片

如果是Loki，L大写，结局完全不一样

技术分享图片

数据源添加完毕后，开始查看日志

点击Explore，可以看到选择labels的地方

技术分享图片

以下是labels的展现形式

技术分享图片

选择一个app:grafana的标签查看一下

技术分享图片

默认Loki会将stdout(正常输出)类型和stderr(错误输出)类型全部展示出来

如果只想查看stderr错误输出类型的日志，可以点击stderr旁边的放大镜来展示：

技术分享图片

此时显示的全部为错误日志

除了这种办法，还可以直接通过上边的搜索栏，进行自定义的筛选，具体的语法问题，可以再自行查询学习。

还可以查看 Prometheus 的 metrics 信息：

技术分享图片

Loki的搭建及简单的使用就到此结束了

原文：https://www.cnblogs.com/lgj8/p/14951336.html

内容总结

以上是互联网集市为您收集整理的Kubernetes：日志聚合分析系统—Loki的搭建与使用全部内容，希望文章能够帮你解决Kubernetes：日志聚合分析系统—Loki的搭建与使用所遇到的程序开发问题。如果觉得互联网集市技术教程内容还不错，欢迎将互联网集市网站推荐给程序员好友。

内容备注

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请发送邮件至 gblab@vip.qq.com 举报，一经查实，本站将立刻删除。

内容手机端

扫描二维码推送至手机访问。

本文链接：https://qyyshop.com/info/1210220.html

来源：【匿名】

【上一篇】mysql数据库用户管理及日志文件【下一篇】php错误日志怎么看

更多 ►

【Kubernetes：日志聚合分析系统—Loki的搭建与使用】教程文章相关的互联网学习教程文章

Kubernetes：日志聚合分析系统—Loki的搭建与使用【代码】【图】

日志聚合分析系统——Loki 什么是Loki？Loki 是 Grafana Labs 团队最新的开源项目，是一个水平可扩展，高可用性，多租户的日志聚合系统。它的设计非常经济高效且易于操作，因为它不会为日志内容编制索引，而是为每个日志流编制一组标签，专门为 Prometheus 和 Kubernetes 用户做了相关优化。与传统日志收集系统(例ELK)相比，Loki的优势有哪些？不对日志进行全文索引。通过存储压缩非结构化日志和仅索引元数据，Loki操作起来会更简...

Kubernetes日志的6个最佳实践【图】

本文转自Rancher Labs Kubernetes可以帮助管理部署在Pod中的上百个容器的生命周期。它是高度分布式的并且各个部分是动态的。一个已经实现的Kubernetes环境通常涉及带有集群和节点的几个系统，这些系统托管着几百个容器，而这些容器不断地基于工作负载启动、毁灭。当在Kubernetes中处理大量的容器化应用和工作负载时，主动进行监控和调试错误十分重要。在容器、节点或集群级别，这些错误都能在容器中看到。Kubernetes的日志机制是...

Kubernetes平台中日志收集【代码】【图】

1、收集哪些日志K8S系统的组件日志（ node节点日志）K8S Cluster里面部署的应用程序日志（pod节点日志）2、日志方案 3.容器中的日志怎么收集 [root@node01 ~]# ls /var/log/containers/ #每个容器都有一个json格式的日志文件 k8s-logs-rk7zz_kube-system_filebeat-055274493f24e173937e8b40a0cf4ae25cc33269eb09ee6c29e373c937c71bcb.log nfs-client-provisioner-86684d5b5f-8k7x6_default_nfs-client-provisioner-f9f8e3d85a4...

kubernetes ingress更改日志格式【代码】【图】

Ingress Nginx默认访问日志都输出到/var/log/nginx/access.log文件中，但是对于一般的生产环境来说，不可能把所有日志都输到一个日志文件中，一般情况都是根据域名分别输出到各个文件中。所以这里区分http指令域默认配置以及单独域名的日志的配置方式。 1.默认日志格式更改为json修改mandatory.yaml部署文件nginx-configuration ConfigMap配置中log-format-upstream字段，具体修改如下:　　注意：mandatory.yaml是官方ingress-ngin...

Kubernetes Ingress 日志分析与监控的最佳实践【图】

摘要： Ingress主要提供HTTP层（7层）路由功能，是目前K8s中HTTP/HTTPS服务的主流暴露方式。为简化广大用户对于Ingress日志分析与监控的门槛，阿里云容器服务和日志服务将Ingress日志打通，只需要应用一个yaml资源即可完成日志采集、分析、可视化等一整套Ingress日志方案的部署。前言目前Kubernetes（K8s）已经真正地占领了容器编排市场，是默认的云无关计算抽象，越来越多的企业开始将服务构建在K8s集群上。在K8s中，组件通过Serv...

Elasticsearch+Filebeat+Kibana 使用DaemonSet的方式收集Kubernetes 集群中Node节点中的应用服务日志

一、以SeatefulSet的方式创建单节点elasticsearch的yaml文件# cat elasticsearch.yaml apiVersion: apps/v1 kind: StatefulSet metadata:name: elasticsearchnamespace: kube-systemlabels:k8s-app: elasticsearch spec:serviceName: elasticsearchselector:matchLabels:k8s-app: elasticsearchtemplate:metadata:labels:k8s-app: elasticsearchspec:initContainers:- name: busyboximagePullPolicy: IfNotPresentimage: busybox:l...

Kubernetes日志系统新贵Loki-Stack【代码】【图】

Kubernetes日志系统新贵Loki-Stack scofield 菜鸟运维杂谈 Loki简介Grafana Loki是可以组成功能齐全的日志记录堆栈的一组组件。与其他日志记录系统不同，Loki是基于仅索引有关日志的元数据的想法而构建的：标签（就像Prometheus标签一样）。然后，日志数据本身被压缩并存储在对象存储（例如S3或GCS）中的块中，甚至存储在文件系统本地。小索引和高度压缩的块简化了操作，并大大降低了Loki的成本。相较于EKL，Loki就显得很轻量级...

Kubernetes基于EFK进行统一的日志管理方案【图】

1、统一日志管理的整体方案通过应用和系统日志可以了解Kubernetes集群内所发生的事情，对于调试问题和监视集群活动来说日志非常有用。对于大部分的应用来说，都会具有某种日志机制。因此，大多数容器引擎同样被设计成支持某种日志机制。对于容器化应用程序来说，最简单和最易接受的日志记录方法是将日志内容写入到标准输出和标准错误流。但是，容器引擎或运行时提供的本地功能通常不足以支撑完整的日志记录解决方案。例如，如果一...

「Kubernetes」- 日志 @20210414【代码】

内容简介本部分将介绍与Kubernetes日志有关内容，包括日志种类、收集方法等等。关于日志 #1 多种多样的日志应用程序具有日志，用于排查问题。集群具有日志，用于排查问题。容器环境具有日志机制，容器化应用应将日志写入标准输出与标准错误。 #2 但这些日志机制存在问题但是由容器引擎提供的日志功能远远不够：容器崩溃，驱逐POD实例，节点崩溃，在这些情况下我们依旧希望访问日志。因此日志需要独立存储，并且生命周期与节点、...

「Kubernetes」- 使用 Fluentd 收集日志 @20210414

服务搭建流程概览1）确定需要收集的日志及位置 2）搭建日志收集服务：Elasticsearch + Kibana + Fluentd 3）验证日志收集成功（能够查看）集群环境概述操作系统：CentOS Linux release 7.4.1708 (Core) 集群版本：Kubernetes v1.16.2 软件版本：Docker version 19.03.8 第一步、需要收集的日志 systemd服务：docker.service kubelet.service 日志：systemd or /var/log 1）调整日志写入，参考 systemd-journald 笔记原因：镜像...

Kubernetes集群的日志EFK解决方案【代码】【图】

k8s日志收集架构 https://kubernetes.io/docs/concepts/cluster-administration/logging/ 总体分为三种方式：使用在每个节点上运行的节点级日志记录代理。在应用程序的 pod 中，包含专门记录日志的 sidecar 容器。将日志直接从应用程序中推送到日志记录后端。使用节点级日志代理容器日志驱动： https://docs.docker.com/config/containers/logging/configure/ 查看当前的docker主机的驱动： $ docker info --format '{{.LoggingD...

首页 / 日志 / Kubernetes：日志聚合分析系统—Loki的搭建与使用

Kubernetes：日志聚合分析系统—Loki的搭建与使用

内容导读

内容图文

内容总结

内容备注

内容手机端

【Kubernetes：日志聚合分析系统—Loki的搭建与使用】教程文章相关的互联网学习教程文章

日志 - 相关标签

分析 - 相关标签

日志 - 最新教程

日志 - 最热教程