bitsCN.com这段时间，一直在利用hadoop和pig对一些数据进行操作，每周的新产生的数据量都是百万级以上，对于大批量的数据（千万级以上）插入和更新操作，如果利用insert的操作起来速度比较慢，我测试了一下如果利用insert 来实现插入三千万条的记录需要二十个小时以上（没有使用集群）。为了提高插入和更新数据的速度，mysql提供了load指令，可以大大的提高插入的速度，在我的机器上，load操作的速度是insert的10倍左右。官方的loa...
我们在实际工作中的一些时候会需要将excel中的数据导入数据库，如果你的数据量成百上千甚至更多，相信一点点ctrlc、ctrlv也不是办法，这里我们以mysql数据库为例，将excel中的数据存入数据库。 我的思路是：先将excel中的数据取出来，再把数据传入数据库，操作excel需要jxl.jar,操作数据库可以用最基本的jdbc，需要mysql-connector-java-5.0.8-bin.jar这个jar包。 下面我们先看一下excel截图： 再来看最后的效果图： 下面贴出整个...
为什么会有这个东西？ XML是一种k可扩展的标记语言，主要用于数据交换。它主要是由于以前各大浏览器之间的恶意竞争，都在用自己公司定义的语法来书写代码，这与W3C公司的初衷相违背。于是W3C才制定了XML标准，用来替代HTML进行数据交替。可惜，想法是好的，但是并不能吸引消费者，XML的最初目的就失败了，于是XML选择了第二条路，向数据交互方向寻求生存之路，也就是现在它的具体功能。用来作配置文件和网络中的数据交互。 XML和HT...
java excel关联导入数据格式为一对多 java 表格读取时一行一行的读取 将每行数据放入list 根据 list.stream().filter(m->m.getCode().equals(getCellValue(row.getCell(0)))).findAny().isPresent()作为循环判断依据 如果list中存在相同数据返回false 则不会再将重复数据放入实体if(! checkTemplateList.stream().filter(m->m.getCode().equals(getCellValue(row.getCell(0)))).findAny().isPresent()){ //list是否存重复code...
楔子 说起读开源项目源码，很多朋友觉得高大上、大佬牛逼，云云~ 挡在很多人面前的不是源码怎么读，而是不知道如何导入源码到开发工具以及如何调试源码。 本文将以 spring-cloud-gateway 源码导入一个简单的 SpringBoot 项目中举例，目的就是给读者一个导入开源项目源码并调试的简单方法。 看文过程中感觉有不明白的地方欢迎评论留言，如果本文帮到了你，本人不胜荣幸的同时，也欢迎为本文点个大拇哥
楔子 说起读开源项目源码，很多朋友觉得高大上、大佬牛逼，云云~ 挡在很多人面前的不是源码怎么读，而是不知道如何导入源码到开发工具以及如何调试源码。 本文将以 spring-cloud-gateway 源码导入一个简单的 SpringBoot 项目中举例，目的就是给读者一个导入开源项目源码并调试的简单方法。 看文过程中感觉有不明白的地方欢迎评论留言，如果本文帮到了你，本人不胜荣幸的同时，也欢迎为本文点个大拇哥
java中import导入包的详解： java中在类中实现某些功能的时候，有可能需要调用其他的类，或者其他类中的对象，或者其他类中的方法，或者其他某些特定的方法，这里需要调用的对象（或者是类）有可能跟该类文件不在一个包里，这个时候，就需要导入相应的包（包中相应的类，甚至包括相应的对象），才可以实现代码的正常运行。 public class Test {public static void main(String[] args) {//cn.pro06.oo.User user = new cn.pro06.oo...
Java POI实现Excel导入导出 POI简介版本依赖excel常用类excel基本操作流程excel导出03版excel导入03版 导出excel工具类商品实体类excel导出工具类测试效果图 导入excel工具类excel导入工具类测试POI 简介 Apache POI是Apache软件基金会的开放源码函式库，POI提供API给Java程序对Microsoft Office格式档案读和写的功能。POI为“Poor Obfuscation Implementation”的首字母缩写，意为“简洁版的模糊实现”。 版本依赖 本次使用的poi版...
整理创建一个Javaweb项目需要导入的包 <!-- servlet的依赖--> <dependency><groupId>javax.servlet</groupId><artifactId>servlet-api</artifactId><version>2.5</version> </dependency><!-- JSP的依赖--> <dependency><groupId>javax.servlet.jsp</groupId><artifactId>javax.servlet.jsp-api</artifactId><version>2.3.3</version> </dependency><!-- standard标签库 https://mvnrepository.com/artifact/taglibs/standard -->...
如果Pom中引入不成功，则可能因为POM文件中的空白处空格不对，需要重写格式化一下（暂时采取手动格式化的方式）。版本不对可以把版本删除掉。 1.在Project Structure中配置Facets，机上web这个module。 2.启动tomcat时，停在了部署的地方，要把Facets中web的配置中weblogic.xml配置去掉，只需要配置web.xml 3.中文乱码的问题，需要在setting中设置file encoding的编码为UTF-8 4.页面中如果还要乱码则需要在tomcat中配置编码UTF-8, ...
说明： 1、文件导出功能： 通过反射获取实体类的属性名和属性值，写入文件是第一行为属性名，从第二行开始为属性值，调用时只需传入一个任意实体集合（List）即可。 2、文件导入功能 文件导入功能需要定义一个实体类用于接受解析excel后的内容。 package com.cz.excel;import com.cz.model.TestCase; import org.apache.poi.hpsf.DocumentSummaryInformation; import org.apache.poi.hpsf.SummaryInformation; import org.apache.p...
错误日志HTTP状态 500 - 内部服务器错误 类型 异常报告 消息 Servlet执行抛出一个异常 描述 服务器遇到一个意外的情况，阻止它完成请求。 例外情况javax.servlet.ServletException: Servlet执行抛出一个异常 org.apache.tomcat.websocket.server.WsFilter.doFilter(WsFilter.java:53) 根本原因。 java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory org.apache.commons.beanutils.ConvertUtilsBean.(ConvertU...
1.导入功能思路： 前台上传文件将MultipartFile -》输入流 -》poi work对象 -》使用excel表头与model字段对应关系 -》通过sheet、row、cell（相关校验）转换成modelList -》（相关校验）对应的业务处理。 2.导入前台vue的axios请求需要content-Type设置： content-Type ：multipart/form-data 需要fromData对象append（"key",value）进行传文件和传参， 传对象类型参数就需要用到Json.stringify和blob。 3.导入后台接收形...
第一种：使用时间戳记录时间。 存入数据时，使用String转换为date然后转换为long(这里使用String是方便格式转换)： public final DateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");String str="2016-01-25 00:00:00";Date date=dateFormat.parse(str);Long dateLong=date.getTime(); 获取到数据后，使用long转换为date之后转换为String: DateFormat dateFormatdateFormat=new SimpleDateFormat();long dateLo...
如何在excel中批量导入图片 问题场景：在工作中我们很可能遇到需要往EXCEL中批量导入图片的情况，制作产品图册 制作花名册原理： 利用Excel中的图片导入代码 <table><img src='I:\files\公司\图片\2017后\JPG\JPEG总集\2059.jpg'width='245'height='160'>那么我们只需要批量生成此串代码即可 此处我i们j将会用到java语言进行操作，代码如下 import java.io.BufferedWriter; import java.io.File; import java.io.FileWriter; impor...