Hive：数据仓库，其实就是写一些脚本代码（HQL），通过hive转换为java代码，在hadoop上运行。操作的是hdfs上的数据，写的HQL脚本转为mapreduce程序处理hdfs上的数据。Hive：解释器，编译器，优化器等。解释HQL为java代码，然后编译，优化后放在hadoop上运行。hive不是关系型数据库，不是后台的服务，它相当于是一个hadoop的客户端。CLiCLi是hive的指令，常用如下：可通过 https://cwiki.apache.org/confluence/display/Hive/Langua...
在整体行业趋于数字化的今天，各种业务软件每时每刻都在产生日志数据。因为大数据的爆发，大家开始重视如何利用这些日志，去解决业务上的难题。不可否认的是，随着对数据资产的观念兴起，越来越多的运营人员和运维人员开始使用这些日志构建应用场景。 如何实现数据运营和智能运维，细节请戳下面链接~~~日志解决方案原文：http://blog.51cto.com/13716423/2131231
一、以SeatefulSet的方式创建单节点elasticsearch的yaml文件# cat elasticsearch.yaml apiVersion: apps/v1 kind: StatefulSet metadata:name: elasticsearchnamespace: kube-systemlabels:k8s-app: elasticsearch spec:serviceName: elasticsearchselector:matchLabels:k8s-app: elasticsearchtemplate:metadata:labels:k8s-app: elasticsearchspec:initContainers:- name: busyboximagePullPolicy: IfNotPresentimage: busybox:l...
Outline如何获得crash日志如何解析crash日志如何分析crash日志 1. iOS策略相关 2. 常见错误标识 3. 代码bug一、如何获得crash日志当一个iOS应用程序崩溃时，系统会创建一份crash日志保存在设备上。这份crash日志记录着应用程序崩溃时的信息，通常包含着每个执行线程的栈调用信息（低内存闪退日志例外），对于开发人员定位问题很有帮助。如果设备就在身边，可以连接设备，打开Xcode - Window - Organizer，在左侧面板中...
使用的框架是spring mvc+spring最近想利用spring aop的环绕通知来处理web的日志问题，总的来讲，如果在controller层做切入，则难监控实际运行情况，在service层做切入，则只能监控到service层的情况，通过捕捉service抛出的异常来记录日志，对于目前本人应用而言，已经足够了，先将记录如下：代码：@Component @Aspect publicclass ExceptionLog {/*** 61 * 环绕通知需要携带ProceedingJoinPoint类型的参数* 62 * 环绕通...
最前面的话：Smobiler是一个在VS环境中使用.Net语言来开发APP的开发平台，也许比Xamarin更方便 一、属性介绍若在Style中已为该控件设置了样式，则可在此属性直接调用样式。若没有在Style中为该控件设置样式，则需要先为该控件设置样式。默认设置为空二、举例介绍以Button控件为例全局样式设置：在设计器上，点击右下角Setting按钮，在弹出的设置界面，点击右下角Style按钮，具体设置界面如下：Smobiler窗体设计界面见下图当DesignS...
在vs2013中，可以写windows phone 8.1的程序，但是调试时需要用到windows自带的虚拟机hyper-V正版的系统开启hyper—V的时候不会有问题，但是盗版的系统可能导致系统不稳定，甚至崩溃，而我正好有windowsphone8.1的手机，所以我在考虑用真机调试手机程序。 问过老师，老师告诉我要用remote debugger 这个插件，但是我在几次尝试之后并没有成功。后来我发现了vs2013提供了windows phone8.1开发的SDK，所以我就试着装了一下，经过...
iOS应用崩溃日志分析为确保你的应用正确无误，在将其提交到应用商店之前，你必定进行了大量的测试工作。它在你的设备上也运行得很好，但是，上了应用商店后，还是有用户抱怨会闪退 ! 如果你跟我一样是个转自raywenderlich 作为一名应用开发者，你是否有过如下经历? 为确保你的应用正确无误，在将其提交到应用商店之前，你必定进行了大量的测试工作。它在你的设备上也运行得很好，但是，上了应用商店后，还是有用户抱怨会闪退 ! 如果...
DataGuard的配置中，有时我们需要利用RMAN自动从FRA删除已经应用到备库的归档日志。当数据库满足下列条件时，FRA下的归档日志将被 DataGuard的配置中，，有时我们需要利用RMAN自动从FRA删除已经应用到备库的归档日志。当数据库满足下列条件时，FRA下的归档日志将被自动删除。 1) 11g之前，如果不使用mandatory ARCHIVELOG目标，数据库（主库和备库）必须更改下面的参数并重新启动：SQL> alter system set "_log_deletion_policy"=A...
前言：公司搭建了DataGuard，刚开始没有注意备库归档日志的管理，系统运行了一段时间之后，发现备库的空间被归档日志给撑爆了。解 前言：公司搭建了DataGuard，刚开始没有注意备库归档日志的管理，，系统运行了一段时间之后，发现备库的空间被归档日志给撑爆了。 解决思路：Oracle提供了一个视图可以查看归档日志的执行情况，只要归档日志已经被应用了，就可以通过操作系统进行删除。 查看归档日志的运用脚本：select sequence#,ap...
在一个网站广告系统中, 需要针对每一个用户所接受的弹窗次数和点击次数这两个重要指标进行统计, 从而进行效果分析和精准投放的改进. 这两个指标的统计算法其实非常简单, 主要的难点在于大数据量. 广告系统的涉及的用户量达到数千万人, 每天的日志数据量是几在一个网站广告系统中, 需要针对每一个用户所接受的弹窗次数和点击次数这两个重要指标进行统计, 从而进行效果分析和精准投放的改进. 这两个指标的统计算法其实非常简单, 主要...
作为微软一个重大的产品版本，SQLServer2008除了许多新的特性和关键的改进，使得它成为至今为止的最强大和最全面的SQLServer版本外，SQLServer2008中的备份方式也是其一大亮点，SQLServer2008使用的备份一个数据库有多种方法，如差异备份和事物日志备份。事 作为微软一个重大的产品版本，SQLServer2008除了许多新的特性和关键的改进，使得它成为至今为止的最强大和最全面的SQLServer版本外，SQLServer2008中的备份方式也是其一大亮...
OS:Red Hat Linux As 5DB:11.2.0.1今天发现在主库的表上写入了数据,且做了日志切换后发现数据没有传输到备库,查看备库的alert报如 环境:OS:Red Hat Linux As 5DB:11.2.0.1 今天发现在主库的表上写入了数据,且做了日志切换后发现数据没有传输到备库,查看备库的alert报如下错误: Datafiles are recovered to a consistent state at change 2610390 but controlfile is ahead at change 2610391.Database remains open for continuous...
为了设置延时Apply，需要在log_archive_dest_n 参数上使用“DELAY="，比如：DELAY=360(单位为分钟)，表示延时360分钟（6小时）。比如：SQL〉alter system set log_archive_dest_2=SERVICE=standby LGWR SYNC AFFIRM DELAY=360VALID_FOR=(ONLINE_LOGFILES,PRIMARY_ROLE) COMPRESSION=ENABLE DB_UNIQUE_NAME=standby; 如果只指定了DELAY参数，但是没有指定具体的值，默认是30分钟。 需要注意的是，如果已经启用了实时日志应用(r...
我们知道，SQL Server 事务 日志主要是用来记录所有 事务 对数据库所做的修改，如果系统出现故障，它将成为最新数据的唯一来源。日志的操作常有以下几个 应用 ： 一、 事务 日志文件LDF的丢失 当我们不小删除或者LDF文件丢失的时候，数据库只剩下MDF文件，此 我们知道，SQL Server事务日志主要是用来记录所有事务对数据库所做的修改，如果系统出现故障，它将成为最新数据的唯一来源。日志的操作常有以下几个应用： 一、事务日志文...