Геоданные в Mapsoft2 (2020-01-02)

Структура геоданных

Структура геоданных в mapsoft2 (как и в старом mapsoft) может содержать несколько треков, несколько наборов путевых точек и несколько наборов карт.

Трек содержит текстовое имя, текстовый комментарий, дополнительные параметры (ассоциативный массив ключ - значение) и массив точек трека. Каждая точка трека содержит координаты (lon, lat, alt), время и флаг начала сегмента. Такая стректура с разбиением треков на сегменты с помощью расстановки флагов пришла, кажется, из последовательного протокола передачи данных старых gps-приемников garmin. Она же используется в формате данных OziExplorer и других старых форматая. Возможно, следует ее переделать в обычную многосегментную линию...

Наборы точек и наборы карт (также, как и треки) содержат текстовое имя, текстовый комментарий, дополнительные параметры и массив элементов, путевых точек и карт, соответственно. Такая группировка точек и карт удобна для использования в графическом интерфейсе: можно загрузить несколько файлов с точками как отдельные наборы и работать с каждым из них; можно сгруппировать большое количество карт (например, все километровки Подмосковья) в один набор и работать только с ним, не путаясь в длинном списке карт. Операции кэширования картинок во вьюере оптимизированы для работы с наборами карт, с использованием того факта, что весь набор всегда показывается как единое целое.

Путевая точка содержит координаты (lon, lat, alt), время, текстовое имя, текстовый комментарий и набор дополнительных параметров (ключ - значение). Дополнительные параметры используются, например, при чтании и записи формата OxiExplorer: вся многочисленная дополнительная информация о точке сохраняется в виде таких параметров, при записи они попадают в файл без изменений. При преобразовании из одного формата в другой некоторые поля могут также сохранятся.

Карта - довольно сложный объект, задающий геодезическую привязку растровой картинки. В целом он напоминает привязку карты в OziExplorer, однако содержит различные дополнительные поля, в частности, для поддержки "плиточных" карт. Такой объект используется в mapsoft2 во всех случаях, когда надо правильно расположить какое-то изображение на географической карте, или нарисовать какую-либо карту.

Структура геоданных, в соответствии с файлом geo_data/geo_data.h:

• GeoData -- структура геоданных
  • std::list<GeoWptList> -- списки точек
  • std::list<GeoTrk> -- треки
  • std::list<GeoMap> -- карты

• GeoWptList -- список точек
  • std::string name, comm -- имя, комментарий (utf8)
  • Opt opts -- дополнительные параметры (структура Opt описана в opt/opt.h)
  • std::vector<GeoWpt> -- массив путевых точек
• GeoTrk -- трек
  • std::string name, comm -- имя, комментарий (utf8)
  • Opt opts -- дополнительные параметры
  • std::vector<GeoTpt> -- массив точек трека
• GeoMapList -- список карт
  • std::string name, comm -- имя, комментарий (utf8)
  • Opt opts -- дополнительные параметры
  • std::vector<GeoMap> -- массив карт

• GeoWpt -- путевая точка
  • std::string name, comm -- имя, комментарий (utf8)
  • Opt opts -- дополнительные параметры
  • int64_t -- Время, миллисекунды от начала 1970 года. Если время не определено, 0.
  • dPoint -- Координаты, lon, lat, alt. Широта и долгота в градусах WGS84, высота в метрах над уровнем моря. Если высота не определена, используется значение NaN. Определение структуры dPoint находится в geom/point.h
• GeoTpt -- точка трека
  • bool start -- флаг начала сегмента
  • int64_t t -- Время, аналогично времени в GeoWpt.
  • dPoint -- Координаты, lon, lat, alt, аналогично координатам в GeoWpt.
• GeoMap -- карта
  • std::string name, comm -- имя, комментарий (utf8)
  • std::map<dPoint,dPoint> ref -- точки привязки, пары точек, связывающие растровые координаты (в пикселах) и географические (в WGS84). Третья координата точек (высота) игнорируется.
  • dMultiLine border -- Граница карты, многосегментная линия в координатах карты (пикселах). Определение структуры dMultiLine находится в geom/multiline.h
  • std::string proj -- Проекция карты, строчка параметров libproj или краткое имя mapsoft2 (нужно бы сделать отдельный текст про преобразование координат в mapsoft2!).
  • std::string image -- Название файла с растровым изображением. Для плиточных карт используется шаблон, содержащий поля {x}, {y}, {z}, {q}, {[...]}, {{}, {}}, см image/image_t.h.
  • iPoint image_size -- Размер картинки в точках. Иногда может быть нулевым (для плиточных карт, если картинка недоступна, и т.п.)
  • double image_dpi -- Разрешение картинки, по умолчанию 300dpi. Используется редко, в основном для привязки векторных карт.
  • bool is_tiled -- Является ли карта плиточной.
  • int tile_size -- Размер плитки для плиточных карт, по умолчанию 256.
  • bool tile_swapy -- Порядок отсчета плиток для плиточных карт: сверху вниз (1) или снизу вверх (0).
  • int tile_minz, tile_maxz -- Минимальное и максимальное увеличение (параметр z) для плиточных карт. По умолчанию - 0 и 18.

Чтение и запись из файлов различных форматов

При чтении и записи формат файла определяется по его расширению. Кроме того, можно явно задать формат параметрами --in_fmt и --out_fmt. Возможные значения:

• json -- GeoJSON, расширение .json,
• gu -- Garmin Utils, расширение .gu,
• gpx -- GPX, расширение .gpx,
• kml -- KML, расширение .kml,
• kmz -- запакованный KML, расширение .kmz,
• ozi -- OziExplorer, расширения .wpt, .map, .plt,
• zip -- архив с данными любых поддерживаемых форматов, только для чтения, расширение .zip.

GPX

Формат GPX -- стандартный формат gps-приемников garmin, очень популярный формат для обмена треками и точками. GPX-файл может содержать в себе произвольное количество треков, точек, а также "маршрутов" (route).

Из файла читаются все треки; все путевые точки помещаются в один список точек, название которого совпадает с именем файла (без пути и расширения .gpx); маршруты читаются как дополнительные списки точек. При записи в файл сохраняются все треки, а все списки точек сливаются в один. Если же дан параметр "--gpx_write_rte 1", то все списки точек записываются как отдельные маршруты.

Поле metadata gpx-файла не поддерживается.

Для треков и маршрутов (в формате gpx они устроены похоже) поддерживаются все основные поля (имя, комментарий), следующие дополнительные поля читаются в виде дополнительных параметров с префиксом "gpx_" и при записи в GPX не должны потеряться:

• gpx_desc -- Text description of route for user. Not sent to GPS.
• gpx_src -- Source of data. Included to give user some idea of reliability and accuracy of data.
• gpx_link -- Links to external information about the route.
• gpx_number -- GPS route number.
• gpx_type -- Type (classification) of route

Полe extension не читаeтся. Было бы полезно извлекать оттуда хотя бы цвет трека, который иногда закопан там весьма глубоко: <extensions><gpxx:TrackExtension><gpxx:DisplayColor>Cyan</gpxx:DisplayColor></gpxx:TrackExtension></extensions>

Для путевых точек поддерживаются все основные поля (имя, комментарии, координаты, высота, время). Следующие поля сохраняются в виде дополнительных параметров с префиксом "gpx_" и при записи обратно в GPX не должны потеряться:

• gpx_magvar -- Magnetic variation (in degrees) at the point.
• gpx_geoidheight -- Height (in meters) of geoid (mean sea level) above WGS84
• gpx_desc -- A text description of the element. Holds additional information about the element intended for the user, not the GPS.
• gpx_src -- Source of data. Included to give user some idea of reliability and accuracy of data. "Garmin eTrex", "USGS quad Boston North", e.g.
• gpx_link -- Link to additional information about the waypoint.
• gpx_sym -- Text of GPS symbol name. For interchange with other programs, use the exact spelling of the symbol as displayed on the GPS. If the GPS abbreviates words, spell them out.
• gpx_type -- Type (classification) of the waypoint.
• gpx_fix -- Type of GPX fix. (none, 2d, 3d, dgps, pps)
• gpx_sat -- Number of satellites used to calculate the GPX fix.
• gpx_hdop -- Horizontal dilution of precision.
• gpx_vdop -- Vertical dilution of precision.
• gpx_pdop -- Position dilution of precision.
• gpx_ageofdgpsdata -- Number of seconds since last DGPS update.
• gpx_dgpsid -- ID of DGPS station used in differential correction.

Поле extension не читается.

Для точек треков читаются/записываются только поля lat, lon, ele, time.

Параметры, с помощью которых можно управлять записью файла:

• --xml_compr -- Записывать сжатый xml? 1|0, по умолчанию 0. Не уверен, что gpx файл, записаный в виде сжатого xml будет понят разными программами.
• --xml_indent -- Использвать переводы строки и отступы. 1|0, по умолчанию 1;
• --xml_ind_str -- Отступ, по умолчанию " ", два пробела;
• --xml_qchar -- Символ кавычек для xml, по умолчанию ', одиночная кавычка
• --gpx_write_rte -- Сохрянять списки точек, как отдельные маршруты (1) или сохранить все точки без разбиения на списки-маршруты (0). По умолчанию 0.

  TODO: при чтении выставить имя основного списка точек по имени файла? При записи всегда сохранять маршруты если списков точек больше одного?

KML и KMZ

Формат KML - стандартный формат Google Maps. Файл может содержать сложную структуру каталогов с треками, точками, привязанными картами. KMZ - запакованная версия. В mapsoft2 поддерживается чтение и запись точек и треков, но не карт. При этом структура каталогов приводится к структуре данных mapsoft2, становится плоской.

Списки путевых точек записываются в виде каталогов (KML Folder), основные поля (имя и комментарий) поддерживаются. При чтении, каталоги, содержащие хотя бы одну точку, преобразуется в списки точек mapsoft. Пустые списки точек не могут быть прочитаны из KML-файла. Сами путевые точки записываются в виде объекта KML Placemark. Все основные параметры (lon, lat, alt, time, name, comm) поддерживаются.

Треки также записываются в виде объекта KML Placemark. Все основные параметры треков и их точек поддерживаются, кроме времени, которое кажется, не поддерживается форматом KML. Кроме того, поддерживаются открытые/закрытые треки (дополнительный параметр type=open/closed).

При записи файлов используются те же переметры форматирования xml, что и для GPX:

• --xml_compr -- Записывать сжатый xml? 1|0, по умолчанию 0. Не уверен, что файл, записаный в виде сжатого xml будет понят разными программами. если хочется экономить размер файлов - используйте формат kmz.
• --xml_indent -- Использвать переводы строки и отступы. 1|0, по умолчанию 1;
• --xml_ind_str -- Отступ, по умолчанию " ", два пробела;
• --xml_qchar -- Символ кавычек для xml, по умолчанию ', одиночная кавычка

TODO: Поддержка карт в KML? Надо ли сделать флаг трека "отрытый/замкнутый" основным параметром (он содержательно используется при рисовании, поддерживается в KML, Ozi,...)?

GeoJSON

Mapsoft2 поддерживает чтение и запись геоданных в формате GeoJSON. В файле может храниться сложная структура директорий (FeatureCollections) с различными геометрическими объектами: точками, линиями, многоугольниками. Поддерживается чтение и запись всей структуры данных mapsoft в файл GeoJSON. При этом запись разных дополнительных параметров, а также карт сделана как расширение стандарта GeoJSON, в соответствии с этим стандартом. В данный момент это единственный формат, в котором можно хранить структуру данных mapsoft2 без потери информации.

При этом сам формат GeoJSON поддерживается не полностью:

• При чтении не сохраняется вложенная структура FeatureCollections, она становится "плоской" и приводится к структуре данных mapsoft.
• Точки читаются из объектов Point, объекты MultiPoint не поддерживаются.
• Треки читаются из объектов LineString, MultiLineString, Polygon, MultiPolygon, но записываются всегда в MultiLine. (TODO: записывать замкнутые треки в MultiPolygon).
• Объекты GeometryCollection не поддерживаются.

Списки точек записываются как директории (FeatureCollection) второго уровня. При чтении директория любого уровня преобразуется в список точек в двух случаях: если она содержит хотя бы одну точку, или если она не содержит точек, треков и карт. Во втором случае создается пустой список точек. Для имени, комментария и дополнительных параметров списка точек используются стандартные поля name, cmt и properties.

Треки записываются в директорию первого уровня как объект (Feature) с многосегментными координатами (MultiLineString), вне зависимости от того, содержит ли трек один или несколько сегментов. Читаются треки из директории любого уровня, при этом понимаются одно- и многосегментные линии (LineString, MultiLineString) и многоугольники (Polygon, MultiPolygon). Для имени, комментария и дополнительных параметров списка точек используются поля name, comm и properties.

Координаты путевых точек и точек трека записываются в виде массива [lon, lat, alt, time]. GeoJSON требует наличия только двух первых элементов, но допускает большее их число и рекомендует, чтобы третьим элементом была высота. Если время или высота не определены, длина массива может сокращаться. Если определено время, но не высота, то в качестве третьего элемента записывается null.

Списки карт записываются как директории второго уровня с нестандартными полями: ms2maps для списка карт, ms2maps_name и ms2maps_comm для имени и комментария, ms2maps_properties для дополнительных параметров. Такое расширение сделано из-за того, что стандарт GeoJSON запрещает создание новых типок, но допускает нестандартные поля в существующих типах. Для карт не используются поля name, comm, properties, чтобы в одной директории могли находиться треки, точки и карты, не мешая друг другу.

Каждый элемент массива ms2maps содержит объект JSON со следующими полями: "name", "comm", "proj", "image", "ref", "brd", "image_size", "image_dpi", "tile_size", "tile_swapy", "is_tiled", "tile_minz", "tile_maxz", "min_scale", "max_scale", "def_color".

Параметры, с помощью которых можно управлять записью файлов:

• --json_sort_keys (default 1) -- Сортировать элеенты json-объектов по названиям
• --json_compact (default 1) -- Записывать компактный json (без пробелов)
• --json_indent (default 0) -- Использовать отступы
• --geo_skip_zt (default 0) -- Игнорировать высоту и время (TODO: перенести в фильтры?)

OziExplorer

Программа OziExplorer и ее форматы были очень популярны в нашей компании до распространения GPX и сайта nakarte. До сих пор (2020) я храню архивы треков и точек именно в этом виде. Треки, наборы точек и карты хранятся в отдельных файлах (.plt, .wpt, .map)

Набор путевых точек не поддерживает никаких полей, это просто контейнер для точек. При чтении файла с точками, набор точек называется по имени файла (без расширения .wpt).

Для путевых точек поддерживаются все основные поля (lon, lat, alt, time, name, comm). Кроме того, читаются и записываются следующие дополнительные поля:

• color -- integer, 0xRRGGBB
• bgcolor -- integer, 0xRRGGBB
• ozi_symb -- integer, 0 to number of symbols in GPS
• ozi_map_displ -- Map Display Format
• ozi_pt_dir -- Pointer Direction
• ozi_displ -- Garmin Display Format
• ozi_prox_dist -- Proximity Distance - 0 is off any other number is valid
• ozi_font_size -- Font Size - in points
• ozi_font_style -- Font Style - 0 is normal, 1 is bold.
• ozi_symb_size -- Symbol Size - 17 is normal size
• ozi_prox_pos -- Proximity Symbol Position
• ozi_prox_time -- Proximity Time
• ozi_prox_route -- Proximity or Route or Both
• ozi_file -- File Attachment Name
• ozi_prox_file -- Proximity File Attachment Name
• ozi_prox_symb -- Proximity Symbol Name

Для треков поддерживается поле name, но не comm. Кроме того, читаются и записываются следующие дополнительные поля:

• thickness -- track thickness, integer
• color -- integer, 0xRRGGBB
• bgcolor -- integer, 0xRRGGBB
• ozi_skip -- track skip value - reduces number of track points plotted, usually set to 1
• ozi_type -- track type: 0 - normal, 10 - closed polygon, 20 - Alarm Zone
• ozi_fill -- track fill style: 0 - bsSolid; 1 - bsClear; 2 - bsBdiagonal; 3 - bsFdiagonal; 4 - bsCross; 5 - bsDiagCross; 6 - bsHorizontal; 7 - bsVertical

Для точки трека поддерживаются все поля: долгота, широта, высота, время, флаг начала сегмента.

В формате OziExplorer каждая привязка карты хранится в отдельном файле. Соответственно, группировка карт в списки не поддерживаются. При чтении каждого файла создается отдельный список карт из одного элемента. (Имя списка дублирует имя карты) При записи все карты из всех списков записываются в отдельные файлы.

При чтении/записи карт сделано следеющее:

• Поддерживается небольшой набор систем координат и проекций (можно добавлять). Если система координат неизвестна, или же дана опция --ozi_map_wgs 1, то при записи карты используется WGS84.
• Системы координат, заданные без параметра datum (например, как ellipsoid+shift) не поддерживаются.
• Перекодирование применяется только к имени карты, но не к названию картинки. (кодировка задается опцией --ozi_enc, по умолчанию Windows-1251). Поле комментария не поддерживается.
• Поддержка точек привязок, записанных в координатах WGS84 или в grid координатах. Формат поддерживает до 30 точек привязки. В интерфейсе OziExplorer поддерживалось 4 точки, не все программы могут правильно обрабатывать большее количество. Возможно, стоит сделать опцию для уменьшения числа точек привязки.
• Поддерживается секция Moving Map (MM), граница карты и т.п.
• Не поддерживаются секции Map features, Map comments, Attached files, Grids.

Параметры, с помощью которых можно управлять чтением/записью файлов:

• --ozi_enc -- Кодировка при чтении/записи файлов. По умолчанию Windows-1251. Для перекодирования используется библиотека libiconv, список кодировок можно посмотреть с с помощью программы iconv -l.
• --ozi_map_grid -- Записывать точки привязки карты в координатах сетки (default 0)
• --ozi_map_wgs -- Всегда использовать datum WGS84 для координат карты (default 0)

Garmin Utils

Очень старый формат, я его много использовал в 1998-1999 годах, какие-то треки до сих пор у меня так хранятся. Сейчас использовать не рекомендуется. Файл может содержать несколько безымянных списков точек и несколько безымянных треков.

Путевые точки записываются в виде строки, разделенный пробелами: долгота, широта, имя и комментарий. Пробелы в имени заменяются на символ подчеркивания. (Помните, что garmin gps-12 записывал дату и время точки в комментарий, а ограничение имени по длине и набору символов было весьма жестким).

Точки трека записываются в виде строки, разделенный пробелами: долгота, широта, высота, время, флаг начала сегмента.

Параметры, с помощью которых можно управлять чтением/записью файла:

• --gu_enc -- Кодировка при чтении/записи файла. По умолчанию KOI8-R. Для перекодирования используется библиотека libiconv, список кодировок можно посмотреть с с помощью программы iconv -l.

Mapsoft XML

В mapsoft1 геоданные могли быть записаны в странном xml-подобном формате. Сейчас он не поддерживается.

Программы для работы с геоданными

ms2conv

Для преобразования геоданных между разными форматами служит программа ms2conv (man-страница со всеми параметрами).

В программе ms2conv, кроме чтения и записи геоданных реализована их "фильтрация". Это - разные операции, которые можно выполнить с геоданными после их чтения.

ms2tab

Иногда требуется преобразовать трек в текстовую таблицу (например, для построения графиков высоты и скорости от расстояния и т.п.) Для этого служит программа ms2xyz (man-страница со всеми параметрами).

ms2view

В программе ms2view в правой части находится панель, показывающая структуру геоданных. В ней три вкладки: набор списков точек, набор треков, набор списков карт. Показываются названия соответствующих объектов и влаги, позволяющие показывать и скрывать их на карте.

Есть три места, откуда можно редактировать геоданные:

• Меню в правой панели.
• Верхнее меню, пункт Edit.
• Режим Edit geodata, возможность редактировать геоданные мышкой на карте, связанное с геоданными меню.

ms2render

ms2geofig