View Issue Details

IDProjectCategoryView StatusLast Update
0001424UkrBIN (ukrbin.com)[All Projects] Generalpublic2019-04-08 05:47
ReporterMGhazaliAssigned Tobarry 
PriorityimmediateSeveritycrashReproducibilityhave not tried
Status closedResolutionfixed 
Summary0001424: проекты csv: не распознает буквы + оформление csv
DescriptionПРО БУКВЫ:
1) Буквы типа ä š ü не распознаются. Я добавляю их в колонку GLocality (я так понимаю сюда идет обычное название локалитета, просто тектосовое географическое поле и в итоге будет в колонке Location - т.е. сопоставления с базой нету). Обрывает все буквы, которые идут после символов с диакритическими значками.
Специально проверила кириллицу - превращается в ?????????? (но латинские буквы из той же ячейки сохраняются).
Это можно исправить?

ПРО КОЛОНКИ csv:
2) не понятно в какую колонку csv файла надо вводить текст, чтобы он отражался в колонке Description таблицы проекта. И еще в csv есть поле Reference - мне бы хотелось туда поместить ссылку на библиографию и чтобы она отражалась в таблице проекта/материала (как это в Distribution - пиктограмка "книжечка"), но эта колонка вообще никуда не уходит.

3) можна сделать так, чтобы в csv оставлять только нужные мне колонки (обязательно сохраняя их имя - например, Key4, Key, Date, LatDeg, LongDeg)? И чтобы система сама подхватывала нужные ей значения из колонок и расставляла, куда ей надо. Сейчас идет проверка на наличие 26 колонок. Это неудобно, так надо повозиться с файлом, расставляя свои колонки по местам. Если бы проверка шла только на имена колонок, то в своем файле надо только переназвать колонки.

ПРО ССЫЛКИ:
4) bbcode не работают здесь. А можно их сделать работающими? Для колонки Note (в csv) - наверное, эта колонка должна пойти в Description (таблицы проекта), но не идет.
Steps To ReproduceНеадекватное чтение CSV
Названия видов содержащие одинаковые слова читаются только как род
Пример.
Carassius carassius из CSV файла прочитывается как Carassius

Система ошибается с распознанием названия вида если есть конкурирующее название содержащие одинаковые слова видового эпитета
Пример.
Primula minima из CSV файла автоматом прочитывается как Uluguruella minima!

Это делает функцию закачки CSV неадекватной!
TagsNo tags attached.

Activities

MGhazali

2018-06-02 23:16

reporter   ~0003774

+ не могу понять, почему не подхватывает даты. http://barry.exp-host.ru/tracker/view.php?id=1422
В моем csv-файле из (0001424) "видит" 4 и 5 строки (с датой 9.11.2012). Но не видит много других дат оформленных также, например в 1-й строке 27.07.2011

barry

2018-12-07 11:15

administrator   ~0003979

прикрепите сюда проблемный файл

barry

2018-12-07 11:22

administrator   ~0003980

" bbcode не работают здесь"
здесь - в смысле в трекере? Трекер это отдельный программный продукт, который развивается независимо. Можно пообщаться с разработчиком. В принципе к данной проблеме это отношения не имеет.
---
насчет 2, 3 - Николай придумывал формат, надо согласовать спецификацию. Можно в принципе и поля переставлять и добавить / удалить / сделать опциональными. Должно быть просто общее согласованное решение, я же не могу под каждого свой импорт делать.

Nikolai Yunakov

2019-02-22 02:06

manager   ~0004007

Last edited: 2019-02-22 02:07

View 2 revisions

Неадекватное чтение CSV
Названия видов, содержащие одинаковые слова читаются только как род
Пример.
Carassius carassius из CSV файла прочитывается как Carassius

Система ошибается с распознанием названия вида, если есть конкурирующее название, содержащие одинаковые слова видового эпитета
Пример.
Primula minima из CSV файла автоматом прочитывается как Uluguruella minima!

Это делает функцию закачки CSV неадекватной!

barry

2019-03-26 11:33

administrator   ~0004022

пример файла ошибочно импортируемого

Nikolai Yunakov

2019-03-26 17:42

manager   ~0004024

вот это файл. Я после импорта вручную проставлял таксоны гду они были неверно подхвачены
https://www.dropbox.com/s/qv79k14czmj3jns/Fishes_Demchenko.csv?dl=0

barry

2019-04-01 19:42

administrator   ~0004032

+fixed
Carassius carassius из CSV файла прочитывается как Carassius

barry

2019-04-01 19:51

administrator   ~0004033

Насчет букв - они действительно есть в текстовом файле CSV?
В этом примере я вижу вопросы - "Sea of ??Azov":
812;cultratus Pelecus;Ukraine;Zaporizhia;;Stepanivka persha;Sea of ??Azov;16 04 1997;;Demchenko V., Demchenko N.;;;;46.447707;35.497611;;1;;;;;;;;;
Может буквы есть нормальные в исходном XLS, а теряются при записи в CSV? Но я тут ничего не сделаю, я же CSV читаю. По-моему мы уже с татарскими буквами пытались разбираться, получалось Excel в CSV их не писал.

barry

2019-04-01 19:57

administrator   ~0004034

Насчет колонки описания и произвольного порядка полей - я у же писал.
Текущий вариант делался под определенное ТЗ с фиксированным набором полей, Николая устраивало.
Давайте тогда делать новое Техническое Задание с подробным описанием. Чтоб это было задокументировано и всем понятно, чтобы все могли ознакомиться. Сегодня Вы захотите одно, завтра другой что-то другое, в результате Ваш вариант работать перестанет...
Давайте тогда как-то обобщим более удобную модель для импорта.

Nikolai Yunakov

2019-04-01 22:37

manager   ~0004035

Last edited: 2019-04-01 22:39

View 2 revisions

Похоже, это касается всех не латинских букв. А в чем принципиальная причина с Carassius carassius и другими случаями? Может быть стоит для поле Key вернуть написание Род вид, вместо нынешнего вид Род?

barry

2019-04-02 10:19

administrator   ~0004037

Carassius carassius я же написал что уже должно быть нормально.

barry

2019-04-02 10:20

administrator   ~0004038

Что касается всех не латинских букв?

barry

2019-04-02 10:20

administrator   ~0004039

Ты мне обещал пример с татарскими буквами еще пару лет назад.

Nikolai Yunakov

2019-04-02 22:14

manager   ~0004040

могу дать сколько угодно, но проблема не только с турецкой (или как ты называешь, татарской) азбукой. Главное то, что проблема с кириллицей на которой наши языки и почти все пользователи пишут кириллицей, что в экспортированных CSV при открытии в Excel превращается в абракадабру. Изменить реальность, что 99% пользуются именно Excel невозможно, поэтому очень важно решить эту проблему с кодировками, иначе у нас проблемы с датасетами.

Nikolai Yunakov

2019-04-02 22:16

manager   ~0004041

про Carassius carassius я имел ввиду, можно ли посмотреть, что ты менял в коде чтобы решить проблему?

barry

2019-04-03 13:56

administrator   ~0004042

Насчет Carassius carassius - менял запрос на поиск таксона.
Насчет букв еще раз - они в самом файле CSV нормальные?

Nikolai Yunakov

2019-04-03 16:00

manager   ~0004043

Я стал копаться в проблеме трансформации CSV. Твой код тут не при чем. Кирилица и турецкие буквы летят при самой трансформации. Надо думать в чем делать CSV чтоб это не происходило

Вот что пишет сам майкрософт про ету проблему трансформации
Excel formatting and features that are not transferred to other file formats
CSV (Comma delimited)
This format (.csv) saves only the text and values as they are displayed in cells of the active worksheet. All rows and all characters in each cell are saved. Columns of data are separated by commas, and each row of data ends in a carriage return. If a cell contains a comma, the cell contents are enclosed in double quotation marks.
If cells display formulas instead of formula values, the formulas are converted as text. All formatting, graphics, objects, and other worksheet contents are lost. The euro symbol will be converted to a question mark.

 Note If your workbook contains special font characters such as a copyright symbol (©), and you will be using the converted text file on a computer with a different operating system, save the workbook in the text file format that is appropriate for that system. For example, if you are using Windows and want to use the text file on a Macintosh computer, save the file in the CSV (Macintosh) format. If you are using a Macintosh computer and want to use the text file on a system running Windows or Windows NT, save the file in the CSV (Windows) format.

barry

2019-04-04 11:24

administrator   ~0004045

закрываем?

Issue History

Date Modified Username Field Change
2018-06-02 20:50 MGhazali New Issue
2018-06-02 23:16 MGhazali Note Added: 0003774
2018-12-07 11:15 barry Note Added: 0003979
2018-12-07 11:22 barry Note Added: 0003980
2018-12-07 11:22 barry Assigned To => barry
2018-12-07 11:22 barry Status new => acknowledged
2019-02-22 02:06 Nikolai Yunakov Priority normal => immediate
2019-02-22 02:06 Nikolai Yunakov Severity minor => crash
2019-02-22 02:06 Nikolai Yunakov Status acknowledged => assigned
2019-02-22 02:06 Nikolai Yunakov Steps to Reproduce Updated View Revisions
2019-02-22 02:06 Nikolai Yunakov Note Added: 0004007
2019-02-22 02:07 Nikolai Yunakov Note Edited: 0004007 View Revisions
2019-03-26 11:33 barry Note Added: 0004022
2019-03-26 17:42 Nikolai Yunakov Note Added: 0004024
2019-04-01 19:42 barry Note Added: 0004032
2019-04-01 19:51 barry Note Added: 0004033
2019-04-01 19:57 barry Note Added: 0004034
2019-04-01 22:37 Nikolai Yunakov Note Added: 0004035
2019-04-01 22:39 Nikolai Yunakov Note Edited: 0004035 View Revisions
2019-04-02 10:19 barry Note Added: 0004037
2019-04-02 10:20 barry Note Added: 0004038
2019-04-02 10:20 barry Note Added: 0004039
2019-04-02 22:14 Nikolai Yunakov Note Added: 0004040
2019-04-02 22:16 Nikolai Yunakov Note Added: 0004041
2019-04-03 13:56 barry Note Added: 0004042
2019-04-03 16:00 Nikolai Yunakov Note Added: 0004043
2019-04-04 11:24 barry Note Added: 0004045
2019-04-04 11:25 barry Status assigned => resolved
2019-04-04 11:25 barry Resolution open => fixed
2019-04-08 05:47 Nikolai Yunakov Status resolved => closed