Instalacja OCRa dla faktur w systemie eDokumenty
Aktualna dokumentacja od wersji 6.53.0 znajduje się pod poniższym linkiem
Poniższa instrukcja przedstawia uruchomienie mechanizmu OCRowania faktur w systemie eDokumenty działających na systemie Linux. Mechanizm jest obsługiwany od wersji 5.2.77.
Poniższa instrukcja została przygotowana na bazie systemu Linux Debian9
apt-get update
apt-get -y install autoconf-archive automake g++ libtool libleptonica-dev pkg-config apt-get -y install git apt-get -y install poppler-utils apt-get -y install libjpeg-dev libtiff-dev libpng-dev apt-get -y install zbar-tools
Jeśli pakiety leptonica 1.74+ nie są dostępne w dystrybucji w takim przypadku, konieczna będzie komplikacja ze źródeł
mkdir /usr/lib/leptonica cd /usr/lib/leptonica wget https://github.com/DanBloomberg/leptonica/releases/download/1.85.0/leptonica-1.85.0.tar.gz gunzip leptonica-1.85.0.tar.gz tar -xf leptonica-1.85.0.tar cd leptonica-1.85.0 ./configure make make install
mkdir /usr/lib/tesseract cd /usr/lib/tesseract git clone https://github.com/tesseract-ocr/tesseract.git tesseract-ocr cd tesseract-ocr/ ./autogen.sh ./configure --disable-openmp make make install ldconfig
cd /usr/local/share/tessdata/ wget https://github.com/tesseract-ocr/tessdata_fast/raw/master/script/Latin.traineddata wget https://github.com/tesseract-ocr/tessdata_fast/raw/master/pol.traineddata wget https://github.com/tesseract-ocr/tessdata_fast/raw/master/eng.traineddata wget https://github.com/tesseract-ocr/tessdata_fast/raw/master/osd.traineddata
alternatywne źródło do pobrania:
wget https://raw.githubusercontent.com/tesseract-ocr/tessdata/main/script/Latin.traineddata wget https://raw.githubusercontent.com/tesseract-ocr/tessdata/main/pol.traineddata wget https://raw.githubusercontent.com/tesseract-ocr/tessdata/main/eng.traineddata wget https://raw.githubusercontent.com/tesseract-ocr/tessdata/main/osd.traineddata
Po pobraniu, zainstalowaniu oraz skompilowaniu pakietów ostatnim elementem jest dodanie stałej w config.inc domyślnie
vim /home/edokumenty/public_html/apps/edokumenty/config.inc
define('USE_NEW_OCR_FOR_EINVOICE', TRUE);
Po dodaniu stałej na fakturze w menu Akcje będzie dostępna opcja OCR/eFaktura.
Pakiety niezbędne do działania Bufora OCR - Python 3 (dla systemu Debian 10)
apt-get -y install rabbitmq-server apt-get -y install python3-pip apt-get -y install python3-pika apt-get -y install python3-toml apt-get -y install python3-pil apt-get -y install python3-packaging pip3 install pdfplumber --break-system-packages pip3 install opencv-python-headless --break-system-packages pip3 install pandas --break-system-packages apt-get -y install supervisor apt-get install pdftk
Przetwarzanie w tle (Bufor OCR)
Dotyczy Ready_ w wersji 6.52.1+
Wykorzystujemy supervisor do uruchomienia dwóch workerów (skrypty w języku Python), które znajdują się w katalogu domowym systemu (najczęściej: /home/edokumenty/bin).
Skrypty to: worker_ocr.py oraz ocr_result.py
Domyślne konfiguracje umieszczone są w katalogu home/edokumenty/etc/. Przed uruchomieniem należy usunąć z nazwy _default. Po całej operacji zmiany rozszerzenia należy wykonać polecenie kompilacji pliku konfiguracyjny systemu.
./ready-cli config:compile
Do działania Buffora OCR niezbędne są również kolejki w tym celu można skorzystać z polecenia, które pozwala dokonać konfiguracji workerów Ready_™
su - root ./ready-cli supervisor:config:create
I postępujemy zgodnie z komunikatami pojawiającymi się na ekranie.
Pamiętaj, że jeśli wcześniej workery do kolejek były tworzone ręcznie to zostaną zdublowane. Zdublowane workery można usunąć ręczeni przechodząc do katalogu
cd /etc/supervisor/conf.d
BUFFOR OCR osobna maszyna
W celu rozłożenie obciążenia, które w dużym stopniu generuje OCR możemy wydzielić go na osobną maszynę.
W tym celu na środowisku gdzie działa RabbitMQ tworzymy nowego użytkownika i nadajemy mu odpowiednie uprawniania:
rabbitmqctl add_user UZYTKOWNIK HASLO rabbitmqctl set_user_tags UZYTKOWNIK administrator rabbitmqctl set_permissions -p / UZYTKOWNIK ".*" ".*" ".*"
Następnie dane do nowo utworzonego konta uzupełniamy w konfiguracji na maszynie eDokumentyOCR
vim /home/edokumenty/etc/rabbimq.toml
Po operacji zmiany rozszerzenia należy wykonać polecenie kompilacji pliku konfiguracyjny systemu:
./ready-cli config:compile
Po uzupełnieniu danych konieczny jest restart workerów
supervisorctl reload
Znane problemy
- Brak pakietu libpng12.so.0. W logach OCR pojawia się komunikat:
tesseract: error while loading shared libraries: libpng12.so.0: cannot open shared object file: No such file or directory
Sprawdzamy czy pakiet istnieje:
ls -ld $(locate -r libpng.*\.so.*)
Komenda powinna zwrócić nam:
lrwxrwxrwx 1 root root 19 kwi 18 22:12 /usr/lib/x86_64-linux-gnu/libpng16.so -> libpng16.so.16.28.0 lrwxrwxrwx 1 root root 19 kwi 18 22:12 /usr/lib/x86_64-linux-gnu/libpng16.so.16 -> libpng16.so.16.28.0 -rw-r--r-- 1 root root 206768 kwi 18 22:12 /usr/lib/x86_64-linux-gnu/libpng16.so.16.28.0 lrwxrwxrwx 1 root root 11 kwi 18 22:12 /usr/lib/x86_64-linux-gnu/libpng.so -> libpng16.so
Jeśli otrzymamy taką informację konieczne będzie ponowne kompilowanie leptonici oraz tesseract
Kompilowanie tesseract dla 1 wątku
./configure --disable-openmp
- Problem z convertowanie jpg do PDF
W logach php mamy komunikat
[23-Sep-2020 12:28:46 Europe/Warsaw] ReadyCls\OCR\OcrEngine - pdftoppm fails with message: [1]
lub
convert-im6.q16: attempt to perform an operation not allowed by the security policy `PDF' @ error/constitute.c/IsCoderAuthorized/408.
W pliku /etc/ImageMagick-6/policy.xml należy zakomentować linię
<!-- <policy domain="coder" rights="none" pattern="PDF" /> -->
UWAGA!!''' Ten plik najpewniej zostanie przywrócony do pierwotnej wersji przy każdym upgrade pakietu ImageMagick. Trzeba pamiętać aby po upgrade serwera ponownie to zakomentować.
POPPLER testowanie poprawności instalacji
Komenda do przeprowadzenie testu popplera.
pdftotext -bbox-layout NAZWAPLIKUWEJSCIOWE.pdf NAZWAPLIKUWYJSCIOWEGO.html
