Text normalization not working in some cases

[wannaphong]

Describe the bug
Text normalization not working in some cases such as 'เค้้้าเดินไปสนามหญา้หนา้บา้น' output 'เค้้้าเดินไปสนามหญ้าหน้าบ้าน' and 'พ ุ่มดอกไม้ในสนามหญา้หนา้บา้น' output 'พ ุ่มดอกไม้ในสนามหญ้าหน้าบ้าน'.

To Reproduce
Steps to reproduce the behavior:

1. from pythainlp.util import normalize
2. normalize('เค้้้าเดินไปสนามหญา้หนา้บา้น')
3. normalize('พ ุ่มดอกไม้ในสนามหญา้หนา้บา้น')

Desktop (please complete the following information):
Colab. PyThaiNLP 2.2.0dev0

[bact]

To generalize, the current normalize() cannot handle (some of) these cases:

1. Tone mark repetition
2. Spaces between consonant and tone mark

Correct?

[wannaphong]

Correct

Correct.

[bact]

#389 should fix the (1) case (tone mark repetition)

For (2), the space thing, it is possible to have this kind of text: "มีรูปภาพ ุ่มากในห้อง".
A normalization will create: "มีรูปภาพุ่มากในห้อง" - which may lead to a different word tokens after segmentation. So I'm not sure should we do the normalization or not.

Chars like tone marks and above/below vowels are often found at the beginning of line/sentence as the user accidentally typed it and text editor or text field doesn't show it explicitly enough. If we trying to remove spaces between consonant and these chars, we may mistakenly remove the space that author has an intention to put it be there.

กรณีที่ (2) นี่ไม่แน่ใจครับ ว่าเราควรพยายามลบช่องว่างออกดีไหม เพราะมันอาจจะไปสร้างคำใหม่ก็ได้
ตามตัวอย่าง "มีรูปภาพ ุ่มากในห้อง" -> "มีรูปภาพุ่มากในห้อง

หรืออาจมีกรณีที่พิมพ์พวกวรรณยุกต์หรือสระบน/ล่างไว้ที่ต้นประโยค แล้วมองไม่เห็น ถ้า normalize แล้วมันจะไปทำให้สองประโยคที่ตั้งให้มีช่องว่างแยกกัน ถูกจับมาต่อกันไหม

[bact]

Tone mark repetition is now get covered.

But the spaces between consonant and tone mark is not yet.

[wannaphong]

cases normalize('เค้้้าเดินไปสนามหญา้หนา้บา้น') fixed in PyThaiNLP 2.2.0

[wannaphong]

Google colab for test bug. https://colab.research.google.com/drive/1f3urpSHHH_yy5bXYx6s0fQWynGzvqiTz?usp=sharing