今天看到一个问题“如何快速对一 GB 级别的 CSV 文件进行解析并入库？”，百度了一下这些关键字，搜索到的有效文章都是直接贴代码、没有分析过程的，因此想结合自己的工作经历来谈谈这个话题。本场 Chat 的主要内容包括：普通 IO 读取大文件存在的问题；Java 多线程解析大文件的基本思路；内存映射技术和多线程并发解析大文件的实现过程；其他方案分析；执行效率对比；大数据生态中数据处理任务的思考。阅读全文: http://gitbook.c...
说明：本文大部分内容来自《并发编程的艺术》，再加上自己网络整理和理解 以下内容来自《java并发编程的艺术》作者：方鹏飞 魏鹏 程晓明 在多线程并发编程中synchronized一直是元老级角色，很多人都会称呼它为重量级锁。但是，随着Java SE 1.6对synchronized进行了各种优化之后，有些情况下它就并不那么重了。 锁的升级与对比 Java SE 1.6为了减少获得锁和释放锁带来的性能消耗，引入了“偏向锁”和“轻量级锁”，在Java SE 1.6中，...
概述 1、继承Thread 2、实现Runable接口 3、实现Callable接口通过FutureTask包装器来创建Thread线程 4、通过Executor框架实现多线程的结构化，即线程池实现。（该实现方式将会下一篇单独介绍） 1、继承Thread >四种实现方式 - 文章图片" />>四种实现方式 - 文章图片" /> 1 class CreateThreadByExtendThread extends Thread {2 public CreateThreadByExtendThread(String name) {3 super(name);4 }5 @Overri...
一.synchronized的缺陷synchronized是java中的一个关键字，也就是说是Java语言内置的特性。那么为什么会出现Lock呢？在上面一篇文章中，我们了解到如果一个代码块被synchronized修饰了，当一个线程获取了对应的锁，并执行该代码块时，其他线程便只能一直等待，等待获取锁的线程释放锁，而这里获取锁的线程释放锁只会有两种情况：1）获取锁的线程执行完了该代码块，然后线程释放对锁的占有；2）线程执行发生异常，此时JVM会让线程自...
导致可见性问题的原因是缓存，导致有序性问题的原因是编译优化，那么解决二者的最直接方法就是禁用缓存和编译优化。但是这样程序的性能将会受到很大程度降低。 这里较为合理的方案是 按需禁用缓存和编译优化 。Java内存模型规范了JVM如何提供按需禁用缓存和编译优化的方法。具体包括： volatile 、 synchronized 和 final 关键字和 Happens-Before 规则。 volatile关键字 “当变量声明为volatile类型后，编译器与运行时都会注意到这...
前言 如何正确有效的保护共享数据是编写并行程序必须面临的一个难题，通常的手段就是同步。 同步可分为阻塞型同步（Blocking Synchronization）和非阻塞型同步（ Non-blocking Synchronization）。 并发方案图示 不同并发方案的复杂程度&加锁力度成反比： 阻塞型同步（Blocking Synchronization） 是指当一个线程到达临界区时，因另外一个线程已经持有访问该共享数据的锁， 从而不能获取锁资源而阻塞，直到另外一个线程释放锁。...
前言：互联网时代已经发展到了现在。从以前只考虑小流量到现在不得不去考虑高并发的问题。扯到了高并发的问题就要扯到线程的问题。你是否问过自己，你真正了解线程吗？还是你只知道一些其他博客里写的使用方法。下面让我们先从线程的一些基础开始讲解并发这一个知识体系。 一、线程是什么？首先我们要明白线程是什么，下面是我从百度百科摘过来的概念： 线程（英语：thread）是操作系统能够进行运算调度的最小单位。它被包含在进程...
在前面的文章中我们讲述了创建线程的2种方式，一种是直接继承Thread，另外一种就是实现Runnable接口。这2种方式都有一个缺陷就是：在执行完任务之后无法获取执行结果。如果需要获取执行结果，就必须通过共享变量或者使用线程通信的方式来达到效果，这样使用起来就比较麻烦。而自从Java 1.5开始，就提供了Callable和Future，通过它们可以在任务执行完毕之后得到任务执行结果。今天我们就来讨论一下Callable、Future和FutureTask三个...
前言 生产者和消费者问题是线程模型中的经典问题：生产者和消费者在同一时间段内共用同一个存储空间，生产者往存储空间中添加产品，消费者从存储空间中取走产品，当存储空间为空时，消费者阻塞，当存储空间满时，生产者阻塞。现在用四种方式来实现生产者消费者模型 阻塞队列BlockingQueue的实现 BlockingQueue即阻塞队列，从阻塞这个词可以看出，在某些情况下对阻塞队列的访问可能会造成阻塞。被阻塞的情况主要有如下两种: 当队列...
原子变量比锁的粒度更细，量级更轻，并且对于在多处理器系统上实现高性能的并发代码来说是非常关键的。原子变量类相当于一种泛化的 volatile 变量，能够支持原子的和有条件的读-改-写操作。原子类在内部使用现代 CPU 支持的 CAS 指令来实现同步。这些指令通常比锁更快。原子更新基本类型AtomicBoolean - 原子更新布尔类型。AtomicInteger - 原子更新整型。AtomicLong - 原子更新长整型。示例：public class AtomicIntegerDemo { ...
网站 更多书籍点击进入>> CiCi岛 下载 电子版仅供预览及学习交流使用，下载后请24小时内删除，支持正版，喜欢的请购买正版书籍电子书下载(皮皮云盘-点击“普通下载”) 购买正版封页编辑推荐 第16届Jolt大奖提名图书 JavaOne大会*畅销图书 了解Java并发编程必读佳作 内容简介 本书深入浅出地介绍了Java线程和并发，是一本完美的Java并发参考手册。书中从并发性和线程安全性的基本概念出发，介绍了如何使用类库提供的基本并发...
众所周知，在Java的知识体系中，并发编程是非常重要的一环，也是面试的必问题，一个好的Java程序员是必须对并发编程这块有所了解的。 然而不论是哪个国家，什么背景的 Java 开发者，都对自己写的并发程序相当自信，但也会在出问题时表现得很诧异甚至一筹莫展。 可见，Java 并发编程显然不是一件能速成的能力，基础搭得越好，越全面，在实践中才会有更深刻的理解。 因此，大家不难发现 Java 并发问题一直是各个大厂面试的重点之一。...
一、单例模式简介 单例模式，是一种常用的软件设计模式。在它的核心结构中只包含一个被称为单例的特殊类。通过单例模式可以保证系统中，应用该模式的类一个类只有一个实例。即一个类只有一个对象实例。在java代码中，通常new关键字创造出来的对象，对系统的开销一般都挺大的。所以在某些情况下，单例的实现也是应对系统优化的一种解决办法。 二、单例模式的实现 常见的单例有这几种实现饿汉式 饱汉式 双重校验 静态内部类1、饿汉式...
在前面的文章中，我们使用线程的时候就去创建一个线程，这样实现起来非常简便，但是就会有一个问题：如果并发的线程数量很多，并且每个线程都是执行一个时间很短的任务就结束了，这样频繁创建线程就会大大降低系统的效率，因为频繁创建线程和销毁线程需要时间。那么有没有一种办法使得线程可以复用，就是执行完一个任务，并不被销毁，而是可以继续执行其他的任务？在Java中可以通过线程池来达到这样的效果。今天我们就来详细讲解一...
第1章 课程准备（入门课程） 课程目标：Java并发编程入门，适合没有并发编程经验的同学，本章首先从课程重点、特点、适合人群及学习收获几个方面对课程进行整体的介绍，然后会从一个实际的计数场景实现开始，给大家展示多线程并发时的线程不安全问题，让大家能够初体验到并发编程，之后会讲解并发和高并发的概念，并通过对比让大家明白到底什么是并发和… 1-1 课前必读（不看会错过一个亿） 1-2 课程导学 试看 1-3 并发编程初体验 ...