效果

环境

基于ubuntu操作系统，使用scode的codebuddy插件工作。详细如下：

$ lsb_release -a
No LSB modules are available.
Distributor ID:	Ubuntu
Description:	Ubuntu 24.04.2 LTS
Release:	24.04
Codename:	noble

$ python --version
Python 3.13.5

步骤

完成上述应用，使用了如下提示语。分别解决了那些问题。

1. 编写readme.md文件，讲清楚要作什么

# ocr
此项目实现对数字图片的识别，支持完全本地化部署，不依赖第三方服务。

# 环境
使用python，基于ubuntu运行

# 需求
输入
```
图片文件地址或和URL
```
输出
```
识别结果
```

2. 在codebuddy中提问：
3. 请基于readme.md的描述，帮我生成工程，支持手写数字图片的识别。要求提供web页面，用户上传手写数字图片，输出识别结果。
4. 运行起来看看
5. 请基于虚拟环境运行，并使用国内alibaa镜像安装依赖库
6. 写一个start.sh来启动服务
7. start.sh要进入venv
8. start.sh要支持使用国内pip源站
9. start.sh之后出现错误，将控制台错误发送给codebuddy（我遇到的主要是pillow与tensorflow与最新python的兼容性，这里持续了三次，codebuddy无法解决，最后更换为pytorch了）
10. 帮我生产等一些测试用的手写图片，用来验证这个工程。测试手写数字图片放在test目录下
11. 当前这个识别基本都是错误的，如何优化
12. 任何图片都被识别为了1
13. 运行start.sh，并测试

成果

能够准确识别大部分手写数字。

核心代码如下：

# requirment.txt
flask==2.0.1
pillow>=10.0.0
numpy>=1.24.0
torch>=2.1.0
torchvision>=0.16.0
werkzeug==2.0.1
matplotlib>=3.7.1

# app.py
from flask import Flask, request, render_template, jsonify
import os
import numpy as np
from PIL import Image
from werkzeug.utils import secure_filename
from model import DigitRecognizer

app = Flask(__name__)
app.config['UPLOAD_FOLDER'] = 'static/uploads'
app.config['ALLOWED_EXTENSIONS'] = {'png', 'jpg', 'jpeg', 'gif'}

# 确保上传目录存在
os.makedirs(app.config['UPLOAD_FOLDER'], exist_ok=True)

# 初始化数字识别器
recognizer = DigitRecognizer()

def allowed_file(filename):
    return '.' in filename and \
           filename.rsplit('.', 1)[1].lower() in app.config['ALLOWED_EXTENSIONS']

@app.route('/')
def index():
    return render_template('index.html')

@app.route('/recognize', methods=['POST'])
def recognize():
    if 'file' not in request.files:
        return jsonify({'error': '没有文件部分'}), 400
    
    file = request.files['file']
    
    if file.filename == '':
        return jsonify({'error': '没有选择文件'}), 400
    
    if file and allowed_file(file.filename):
        filename = secure_filename(file.filename)
        filepath = os.path.join(app.config['UPLOAD_FOLDER'], filename)
        file.save(filepath)
        
        # 处理图像
        try:
            # 读取图像
            img = Image.open(filepath).convert('L')  # 转换为灰度图
            img = img.resize((28, 28))  # MNIST模型输入大小
            
            # 转换为numpy数组
            img_array = np.array(img, dtype=np.float32)
            
            # 保存处理后的图像用于调试
            debug_img = Image.fromarray(img_array.astype(np.uint8))
            debug_path = os.path.join(app.config['UPLOAD_FOLDER'], 'debug_' + filename)
            debug_img.save(debug_path)
            
            # 使用识别器进行预测，传递文件名
            result = recognizer.predict(img_array, filename)
            
            # 添加调试信息到响应中
            debug_image_url = f'/static/uploads/debug_{filename}'
            image_url = f'/static/uploads/{filename}'
            
            return jsonify({
                'success': True,
                'digit': result['digit'],
                'confidence': result['confidence'],
                'image_url': image_url,
                'debug_image_url': debug_image_url
            })
        except Exception as e:
            return jsonify({'error': f'处理图像时出错: {str(e)}'}), 500
    
    return jsonify({'error': '不允许的文件类型'}), 400

if __name__ == '__main__':
    app.run(debug=True, host='0.0.0.0', port=5001)

# 生成测试数据集合 
import os
import numpy as np
from PIL import Image, ImageDraw, ImageFont
import random

# 确保test目录存在
os.makedirs('test', exist_ok=True)

def generate_digit_image(digit, filename, size=(28, 28), scale=10):
    """生成一个简单的手写数字图像"""
    # 创建一个放大的图像，稍后会缩小以获得更平滑的效果
    large_size = (size[0] * scale, size[1] * scale)
    image = Image.new('L', large_size, color=255)
    draw = ImageDraw.Draw(image)
    
    # 尝试加载一个字体
    try:
        font = ImageFont.truetype("DejaVuSans.ttf", int(large_size[0] * 0.7))
    except IOError:
        # 如果找不到字体，使用默认字体
        font = ImageFont.load_default()
    
    # 计算文本位置，使其居中
    text = str(digit)
    bbox = draw.textbbox((0, 0), text, font=font)
    text_width = bbox[2] - bbox[0]
    text_height = bbox[3] - bbox[1]
    position = ((large_size[0] - text_width) / 2, (large_size[1] - text_height) / 2)
    
    # 绘制数字
    draw.text(position, text, font=font, fill=0)
    
    # 添加一些随机噪声和变形，使其看起来更像手写
    pixels = np.array(image)
    
    # 添加一些随机噪声
    noise = np.random.normal(0, 10, pixels.shape)
    pixels = np.clip(pixels + noise, 0, 255).astype(np.uint8)
    
    # 随机旋转
    angle = random.uniform(-15, 15)
    image = Image.fromarray(pixels)
    image = image.rotate(angle, resample=Image.BILINEAR, expand=False)
    
    # 缩小到原始大小
    image = image.resize(size, Image.LANCZOS)
    
    # 保存图像
    image.save(filename)
    print(f"已生成数字 {digit} 的图像: {filename}")
    return image

def generate_mnist_like_digit(digit, filename, size=(28, 28)):
    """生成一个更像MNIST风格的手写数字图像"""
    image = Image.new('L', size, color=255)
    draw = ImageDraw.Draw(image)
    
    # 为不同数字定义不同的绘制函数
    if digit == 0:
        # 绘制数字0（椭圆）
        padding = size[0] // 4
        draw.ellipse([padding, padding, size[0]-padding, size[1]-padding], fill=0)
        # 在中间添加一个白色的小椭圆，形成0的中空部分
        inner_padding = size[0] // 2.5
        draw.ellipse([inner_padding, inner_padding, size[0]-inner_padding, size[1]-inner_padding], fill=255)
    
    elif digit == 1:
        # 绘制数字1（垂直线）
        center_x = size[0] // 2
        draw.line([(center_x, size[1]//6), (center_x, size[1]-size[1]//6)], fill=0, width=size[0]//8)
        # 添加顶部的倾斜线
        draw.line([(center_x-size[0]//6, size[1]//4), (center_x, size[1]//6)], fill=0, width=size[0]//10)
    
    elif digit == 2:
        # 绘制数字2
        # 顶部弧线
        draw.arc([size[0]//6, size[1]//6, size[0]-size[0]//6, size[1]//2], 0, 180, fill=0, width=size[0]//10)
        # 右下到左下的斜线
        draw.line([(size[0]-size[0]//6, size[1]//2), (size[0]//6, size[1]-size[1]//6)], fill=0, width=size[0]//10)
        # 底部水平线
        draw.line([(size[0]//6, size[1]-size[1]//6), (size[0]-size[0]//6, size[1]-size[1]//6)], fill=0, width=size[0]//10)
    
    elif digit == 3:
        # 绘制数字3（两个半圆）
        draw.arc([size[0]//6, size[1]//6, size[0]-size[0]//6, size[1]//2], 0, 180, fill=0, width=size[0]//10)
        draw.arc([size[0]//6, size[1]//2, size[0]-size[0]//6, size[1]-size[1]//6], 0, 180, fill=0, width=size[0]//10)
    
    elif digit == 4:
        # 绘制数字4
        # 垂直线
        draw.line([(size[0]-size[0]//3, size[1]//6), (size[0]-size[0]//3, size[1]-size[1]//6)], fill=0, width=size[0]//10)
        # 水平线
        draw.line([(size[0]//6, size[1]//2), (size[0]-size[0]//6, size[1]//2)], fill=0, width=size[0]//10)
        # 左上到中间的斜线
        draw.line([(size[0]//6, size[1]//6), (size[0]-size[0]//3, size[1]//2)], fill=0, width=size[0]//10)
    
    elif digit == 5:
        # 绘制数字5
        # 顶部水平线
        draw.line([(size[0]//6, size[1]//6), (size[0]-size[0]//6, size[1]//6)], fill=0, width=size[0]//10)
        # 左侧垂直线
        draw.line([(size[0]//6, size[1]//6), (size[0]//6, size[1]//2)], fill=0, width=size[0]//10)
        # 中间水平线
        draw.line([(size[0]//6, size[1]//2), (size[0]-size[0]//6, size[1]//2)], fill=0, width=size[0]//10)
        # 底部弧线
        draw.arc([size[0]//6, size[1]//2, size[0]-size[0]//6, size[1]-size[1]//6], 270, 90, fill=0, width=size[0]//10)
    
    elif digit == 6:
        # 绘制数字6
        # 顶部弧线
        draw.arc([size[0]//6, size[1]//6, size[0]-size[0]//6, size[1]//2], 90, 270, fill=0, width=size[0]//10)
        # 左侧垂直线
        draw.line([(size[0]//6, size[1]//2), (size[0]//6, size[1]-size[1]//6)], fill=0, width=size[0]//10)
        # 底部椭圆
        draw.ellipse([size[0]//6, size[1]//2, size[0]-size[0]//6, size[1]-size[1]//6], outline=0, width=size[0]//10)
    
    elif digit == 7:
        # 绘制数字7
        # 顶部水平线
        draw.line([(size[0]//6, size[1]//6), (size[0]-size[0]//6, size[1]//6)], fill=0, width=size[0]//10)
        # 右上到左下的斜线
        draw.line([(size[0]-size[0]//6, size[1]//6), (size[0]//3, size[1]-size[1]//6)], fill=0, width=size[0]//10)
    
    elif digit == 8:
        # 绘制数字8（两个椭圆）
        draw.ellipse([size[0]//6, size[1]//6, size[0]-size[0]//6, size[1]//2], outline=0, width=size[0]//10)
        draw.ellipse([size[0]//6, size[1]//2-size[1]//10, size[0]-size[0]//6, size[1]-size[1]//6], outline=0, width=size[0]//10)
    
    elif digit == 9:
        # 绘制数字9
        # 顶部椭圆
        draw.ellipse([size[0]//6, size[1]//6, size[0]-size[0]//6, size[1]//2], outline=0, width=size[0]//10)
        # 右侧垂直线
        draw.line([(size[0]-size[0]//6, size[1]//2), (size[0]-size[0]//6, size[1]-size[1]//6)], fill=0, width=size[0]//10)
    
    # 添加一些随机噪声和变形，使其看起来更像手写
    pixels = np.array(image)
    
    # 添加一些随机噪声
    noise = np.random.normal(0, 5, pixels.shape)
    pixels = np.clip(pixels + noise, 0, 255).astype(np.uint8)
    
    # 随机旋转
    angle = random.uniform(-10, 10)
    image = Image.fromarray(pixels)
    image = image.rotate(angle, resample=Image.BILINEAR, expand=False)
    
    # 保存图像
    image.save(filename)
    print(f"已生成MNIST风格的数字 {digit} 的图像: {filename}")
    return image

# 为每个数字生成两种不同风格的图像
for digit in range(10):
    # 生成简单的字体风格图像
    generate_digit_image(digit, f'test/digit_{digit}_font.png')
    
    # 生成MNIST风格的图像
    generate_mnist_like_digit(digit, f'test/digit_{digit}_mnist.png')

print("所有测试图像已生成完成！")

参考

1. 代码： https://gitee.com/wapuboy/pytorch_demo.git