Android应用开发进阶篇-场景文字识别

        由于研究生毕业项目需要完成一个基于移动终端的场景文字识别系统，虽然离毕业尚早，但出于兴趣的缘故，近一段抽时间完成了这样一套系统。基本的架构如下：

        客户端：Android应用实现拍摄场景图片，大致划出感兴趣文字区域，通过socket通信上传服务器端识别;

        服务器端：Python server进行socket通信监听，连通后调用文字识别引擎（exe可执行程序），将识别结果返回;

下面是系统运行示例图：

1. 客户端

包含两个Activity,： MainActivity主界面如上图左1，选择拍摄后调用系统内部的拍照服务如上图左2；拍照完成进入KernelActivity如上图左3，大致划出感兴趣文字区域后上传服务器端，获取识别结果如上图左4。

客户端拍照和建立网络通信需要注意在AndroidManifestxml文件中声明权限

    <!-- 授权使用相机 -->
    <uses-permission android:name="android.permission.CAMERA" />
    <!-- 在SD卡中创建与删除文件的权限 -->
    <uses-permission android:name="android.permission.MOUNT_UNMOUNT_FILESYSTEMS" />
    <!-- 向SD卡中写入数据权限 -->
    <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />
    <!-- 授权访问互联网 -->
    <uses-permission android:name="android.permission.INTERNET" /> 

客户端Android编程时连接服务器端利用socket进行通信，在编程过程中有几点需要注意的问题，不然很容易导致出错：

1.1 主线程中不能直接建立网络连接

为了防止线程阻塞，android 4.0以上的版本不允许直接在主线程建立网络连接（socket通信需要连接网络）。因此，在需要socket通信时，应新开线程用于网络连接，使用示例如下

new Thread(){//主线程不能直接连接网络，需新建子线程
	@Override
	public void run(){
		//TODO
	}
}.start();

1.2 客户端socket收发数据流不宜使用close()方法

客户端需要同时接受和发送数据，因此会有如下两个对象out和in

							//开始socket通信
							Socket socket = new Socket("210.77.27.123", 9058);	//此处IP根据自己的服务器端设定
							
							//写输出（上传）数据
							DataOutputStream out = new DataOutputStream(socket.getOutputStream());	
							
							//写输入（获得）数据
							BufferedReader in = new BufferedReader(new InputStreamReader(socket.getInputStream(), "gb2312")); //设置字符编码格式，以便正确读取中文

如果在out向服务器端发送完数据后，想着out已经不需要了，则可能会想使用 out.close() 关闭对象。如果这样，那么在使用in对象接收数据时便会抛出异常“socket closed”！原因是，in或out对象的close()方法使用后会造成socket的关闭。所以，如果需要关闭，可以考虑使用shutdownInput()和shutdownOutput()方法，或者不处理而待最后socket.close()即可。

1.3 子线程不能更新UI

获得服务器端识别结果时，需要使用这个内容更新客户端UI（左下角的TextView），如果在上面说到的进行socket通信的子线程中直接使用 text.setText()方法试图更新UI的话，结论是不可行的。所以，为了更新UI需要借助Handler对象，在其handleMessage()方法内更新UI。

子线程中将服务器端结果存入message并向预定义的handler对象发送消息

							String response = in.readLine();															
							Message msg = handler.obtainMessage();//子线程中不能更新UI，需借助handler
							msg.obj = response;
							handler.sendMessage(msg);

		handler = new Handler(){
			@Override
			public void handleMessage(Message msg){
				String message = (String)msg.obj;
				if(message != null)
				    text.setText(message);
				else
				    text.setText("抱歉，未能识别");
				super.handleMessage(msg);//这一句必须要有！不然无法更新UI
			}	
		};

2.服务器端

服务器端主要部署python脚本进行socket监听，一旦建立连接则调用开发好的场景文字识别引擎（STREngine.exe），并将结果返回客户端。python server脚本内容如下

#####################################
#                                   #
#       STC Recognition Server      #
#                                   #
#####################################

import socket
import os

s = socket.socket()

host = socket.gethostname()
port = 9058
s.bind((host, port))

s.listen(5)
while True:
    c, addr = s.accept()
    print 'Got connection from' , addr

    #get uploaded params
    params = c.recv(19)
    lst = params.split(' ')
    if len(lst) < 4:
        c.close()
        continue
    print 'x=%d, y=%d, w=%d, h=%d' % (int(lst[0]),int(lst[1]),int(lst[2]),int(lst[3]))

    #get uploaded image size info
    size = int(c.recv(4))
    
    #save uploaded image
    f = open('.\\upload\\tmp.jpg', 'wb')
    for i in range(size):
        f.write(c.recv(1024))
    f.close()
    print 'Image received, size %dKB' % size

    #execute STREngine on server and send back the result
    result = os.popen('STREngine ./upload/tmp.jpg ' + params).read()
    print 'Recognition result:', result
    c.send(result + '\n')

    print 'Close connection with', addr, '\n'
    c.close()

文字识别引擎的内部代码不便分享，但会将可执行文件分享给感兴趣的朋友。

服务器端有一点非常重要的地方，不注意的话可能会给你带来无尽的烦恼，我就花了两个晚上才发现这个很小的问题，在此分享以免再浪费别人的时间：

        在服务器端返回识别结果给客户端时，一定要在字符串后面加换行符‘\n’结尾！如果不加，则客户端 in.readline()方法会因找不到行末而一直阻塞，则无法利用返回结果更新客户端UI。这个问题非常恼人，因为如果你在服务端返回不加‘\n‘的话，在本地电脑上利用android虚拟机是没问题的，虚拟机上正常更新UI，但是一旦换到手机上就没反应了（不更新UI）。

总结：

        其实，客户端手动划取感兴趣文字上传后，这个区域位置在ImageView和实际图像中是需要仔细换算的，这里就不细说了，有需要的朋友直接看代码吧。或者强烈建议自己分析推导一番，自己找出这个关系，会对加深对ImageView和Bitmap的理解有极大帮助。

        此外，由于不是做产品，对效率的考虑并没有在意。现在的话是将手机拍照后的整幅图片上传，虽然进行了压缩，但一副图仍有几百KB大小，这对流量实在太过浪费。解决的话也简单，只要将划取的文字区域单独取出来上传即可（但四周需要一定程度的扩展），大小应该减小几十倍。

客户端和服务端源代码（包括识别引擎可执行程序）已分享至CSDN，有问题欢迎随时随时交流指正。

原文：http://blog.csdn.net/seanwang_25/article/details/37723809